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概率 、 统计 与 随机 过 程 ( 第 四 版 ) 


Probability, Statistics, and Random Processes for Engineers 
Fourth Edition 


本 书 从 工程 应 用 的 角度 ， 全 面 阐述 概率 、 统 计 与 随机 过 程 的 基本 理论 


及 其 应 用 。 全 书 共 9 章 ， 首 先 简单 介绍 概率 论 ， 然 后 各 章 分 别 讨论 随机 变 | | 
量 、 随 机 变量 的 函数 、 均 值 与 矩 、 随 机 向 量 、 统 计 (包括 参数 估计 和 假设 | 二 


版 


检验 ) 、 随 机 序列 、 随 机 过 程 基 础 知识 ， 最 后 讨论 了 统计 信号 处 理 中 的 相关 
应 用 。 书 中 给 出 了 大 量 电子 和 信息 系统 相关 实例 ， 每 章 给 出 了 丰富 的 习题 。 


本 书 适合 作为 电子 信息 类 专业 本 科 生 和 研究 生 的 “随机 信号 分 析 ” 
或 “随机 过 程 及 其 应 用 ”课程 的 教材 ， 也 可 供 从 事 相 关 技 术 领 域 研究 的 科 
技 人 人员 参考 ， 
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内 容 简 介 

本 书 从 工程 应 用 的 角度 , 全 面 阐述 概率 、 统计 与 随机 过 程 的 基本 理论 及 其 应 用 。 全 书 共 9 章 , 首先 简单 
介绍 概率 论 , 然后 分 别 讨论 随机 变量 、 随 机 变量 的 函数 、 均 值 与 矩 、 随 机 向 量 、 统计 (包括 参数 估计 和 假设 检 
验 ) 、 随 机 序列 、 随 机 过 程 基础 知识 , 最 后 讨论 了 统计 信号 处 理 中 的 相关 应 用 。 书 中 给 出 了 大 量 电子 和 信息 系 
统 相关 实例 , 每 章 给 出 了 丰富 的 习题 。 另 外 有 两 章 的 补充 内 容 , 读者 可 从 网 站 下 载 阅读 。 

本 书 适合 作为 电子 信息 类 专业 本 科 生 和 研究 生 的 “随机 信号 分 析 " 或 随机 过 程 及 其 应 用 "课程 的 教材 ， 
也 可 供 从 事 相关 技术 领域 研究 的 科技 人 员 参 考 。 
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2001 年 7 月 间 , 电子 工业 出 版 社 的 领导 同志 邀请 各 高 校 十 几 位 通信 和 领域 方面 的 老师 , 商量 引 
进 国外 教材 问题 。 与 会 同志 对 出 版 社 提 出 的 计划 十 分 赞同 , 大 家 认为 , 这 对 我 国 通信 事业 、 特 别 
是 对 高 等 院 校 通信 学 科 的 教学 工作 会 很 有 好 处 。 

教材 建设 是 高 校 教学 建设 的 主要 内 容 之 一 。 编 写 、 出 版 一 本 好 的 教材 ,意味 着 开设 了 一 门 好 
的 课程 ， 甚 至 可 能 预示 着 一 个 田 新 学 科 的 诞生 。20 世纪 40 年 代 MIT 林肯 实验 室 出 版 的 一 套 28 本 
雷达 从 书 , 对 近代 电子 学 科 、 特别 是 对 雷达 技术 的 推动 作用 , 就 是 一 个 很 好 的 例子 。 

我 国 领导 部 门 对 教材 建设 一 直 非 常 重视 。20 世纪 80 年 代 , 在 原 教委 教材 编审 委员 会 的 领导 下 ， 
汇集 了 高 等 院 校 几 百 位 富有 教学 经 验 的 专家 , 编写 、 出 版 了 一 大 批 教材 ; 很 多 院 校 还 根据 学 校 的 特 
点 和 需要 , 陆续 编写 了 大 量 的 讲义 和 参考 书 。 这 些 教材 对 高 校 的 教学 工作 发 挥 了 极 好 的 作用 。 近 年 
来 , 随 着 教学 改革 不 断 深入 和 科学 技术 的 飞速 进步 , 有 的 教材 内 容 已 比较 陈旧 、 落 后 , 难以 适应 教 
学 的 要 求 , 特别 是 在 电子 学 和 通信 技术 发 展 神速 、 可 以 讲 是 日 新 月 异 的 今天 , 如 何 适 应 这 种 情况 , 更 是 
一 个 必须 认真 考虑 的 问题 。 解 决 这 个 问题 , 除了 依靠 高 校 的 老师 和 专家 撰写 新 的 符合 要 求 的 教科 书 外 ， 
引进 和 出 版 一 些 国外 优秀 电子 与 通信 教材 , 尤其 是 有 选择 地 引进 一 批 英 文 原版 教材 , 是 会 有 好 处 的 。 

一 年 多 来 , 电子 工业 出 版 社 为 此 做 了 很 多 工作 。 他 们 成 立 了 一 个 “国外 电子 与 通信 教材 系 
列 " 项 目 组 , 选派 了 富有 经 验 的 业务 骨干 负责 有 关 工作 , 收集 了 230 余 种 通信 教材 和 参考 书 的 详 
细 资 料 , 调 来 了 100 余 种 原版 教材 样 书 , 依靠 由 20 余 位 专家 组 成 的 出 版 委员 会 ， 从 中 精 选 了 
40 多 种 ,内 容 丰 富 , 覆盖 了 电路 理论 与 应 用 、 信 和 号 与 系统 、 数 字 信 和 号 处 理 、 微 电子 、 通 信 系 统 、 电 
磁场 与 微波 等 方面 , 既 可 作为 通信 专业 本 科 生 和 研究 生 的 教学 用 书 , 也 可 作为 有 关 专 业 人 员 的 参 
考 材料 。 此 外 , 这 批 教材 ， 有 的 翻译 为 中 文 , 还 有 部 分 教材 直接 影印 出 版 ,以 供 教 师 用 英语 直接 
授课 。 和 希望 这 些 教材 的 引进 和 出 版 对 高 校 通信 教学 和 教材 改革 能 起 一 定 作 用 。 

在 这 里 , 我 还 要 感谢 参加 工作 的 各 位 教授 、 专 家 、 老 师 与 参加 翻译 、 编 辑 和 出 版 的 同志 们 。 
各 位 专家 认真 负责 、 严 漠 细致 、 不 辞 辛劳 、 不 怕 琐 碎 和 精益 求 精 的 态度 ,充分 体现 了 中 国教 育 工 
作者 和 出 版 工作 者 的 良好 美德 。 

随 着 我 国 经 济 建设 的 发 展 和 科学 技术 的 不 断 进 步 ， 对 高 校 教学 工作 会 不 断 提 出 新 的 要 求 和 
希望 。 我 想 , 无 论 如 何 , 要 做 好 引进 国外 教材 的 工作 , 一 定 要 联系 我 国 的 实际 。 教 材 和 学 术 专著 
不 同 , 既 要 注意 科学 性 、 学 术 性 , 也 要 重视 可 读 性 , 要 深入 浅 出 , 便于 读者 自学 ; 引进 的 教材 要 适 
应 高 校 教学 改革 的 需要 , 针对 目前 一 些 教材 内 容 较为 陈旧 的 问题 , 有 目的 地 引进 一 些 先 进 的 和 正 
在 发 展 中 的 交叉 学 科 的 参考 书 ; 要 与 国内 出 版 的 教材 相配 套 , 安排 好 出 版 英文 原版 教材 和 翻译 教 
材 的 比例 。 我 们 努力 使 这 套 教材 能 尽量 满足 上 述 要 求 , 希望 它们 能 放 在 学 生 们 的 课 桌 上 ，, 发 挥 一 
定 的 作用 。 

最 后 , 预 祝 “ 国 外 电子 与 通信 教材 系列 ”项目 取得 成 功 , 为 我 国电 子 与 通信 教学 和 通信 产业 的 
发 展 培土 施肥 。 也 县 切 希 望 读 者 能 对 这 些 书 籍 的 不 足 之 处 、 特 别 是 翻译 中 存在 的 问题 ， 提 出 意见 


和 建议 , 以 便 再 版 时 更 正 。 
其 伏 再 
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出 版 说 明 


进入 21 世纪 以 来 , 我 国信 息 产 业 在 生产 和 科研 方面 都 大 大 加 快 了 发 展 速 度 , 并 已 成 为 国民 
经 济 发 展 的 支柱 产业 之 一 。 但 是 , 与 世界 上 其 他 信息 产业 发 达 的 国家 相 比 , 我 国 在 技术 开发 、 教 
育 培训 等 方面 都 还 存在 着 较 大 的 差距 。 特 别 是 在 加 入 WTO 后 的 今天 , 我 国信 息 产业 面临 着 国外 
竞争 对 手 的 严峻 挑战 。 

作为 我 国信 息 产业 的 专业 科技 出 版 社 , 我 们 始终 关注 着 全 球 电 子 信息 技术 的 发 展 方向 , 始终 
把 引进 国外 优秀 电子 与 通信 信息 技术 教材 和 专业 书籍 放 在 我 们 工作 的 重要 位 置 上 。 在 2000 年 至 
200 1 年 间 , 我 社 先后 从 世界 著名 出 版 公司 引进 出 版 了 40 余 种 教材 , 形成 了 一 套 “ 国 外 计算 机 科 
学 教材 系列 ”, 在 全 国 高 校 以 及 科研 部 门 中 受到 了 欢迎 和 好 评 , 得 到 了 计算 机 领域 的 广大 教师 与 
科研 工作 者 的 充分 肯定 。 

引进 和 出 版 一 些 国外 优秀 电子 与 通信 教材 , 尤其 是 有 选择 地 引进 一 批 英文 原版 教材 , 将 有 助 
于 我 国信 息 产 业 培养 具有 国际 兖 争 能 力 的 技术 人 才 , 也 将 有 助 于 我 国 国内 在 电子 与 通信 教学 工 
作 中 掌握 和 跟踪 国际 发 展 水 平 。 根 据 国 内 信息 产业 的 现状 、 教 育 部 4 关于 “十 五 "期 间 普通 高 等 教 
育 教材 建设 与 改革 的 意见 》 的 指示 精神 以 及 高 等 院 校 老 师 们 反映 的 各 种 意见 , 我 们 决定 引进 “ 国 
外 电子 与 通信 教材 系列 ”, 并 随后 开展 了 大 量 准 备 工作 。 此 次 引进 的 国外 电子 与 通信 教材 均 来 自 
国际 著名 出 版 商 , 其 中 影印 教材 约 占 一 半 。 教 材 内 容 涉及 的 学 科 方 向 包括 电路 理论 与 应 用 、 信 号 
与 系统 、 数 字 信和 号 处 理 、 微 电子 、 通 信 系 统 、 电 磁场 与 微波 等 , 其 中 既 有 本 科 专 业 课 程 教材 , 也 有 
研究 生 课 程 教材 ,以 适应 不 同 院 系 、 不 同 专 业 、 不 同 层次 的 师 生 对 教材 的 需求 , 广大 师 生 可 自由 
选择 和 自由 组 合 使 用 。 我 们 还 将 与 国外 出 版 商 一 起 , 陆续 推出 一 些 教材 的 教学 支持 资料 ,为 授课 
教师 提供 帮助 。 

此 外 ,“ 国 外 电子 与 通信 教材 系列 ”的 引进 和 出 版 工作 得 到 了 教育 部 高 等 教育 司 的 大 力 支持 
和 帮助 ,其 中 的 部 分 引进 教材 已 通过 “教育 部 高 等 学 校 电 子 信 息 科学 与 工程 类 专业 教学 指导 委员 
会 ”的 审核 , 并 得 到 教育 部 高 等 教育 司 的 批准 , 纳入 了 “教育 部 高 等 教育 司 推荐 一 一 国外 优秀 信息 
科学 与 技术 系列 教学 用 书 ”。 

为 做 好 该 系列 教材 的 翻译 工作 , 我 们 聘请 了 清华 大 学 、 北 京 大 学 、 北 京 邮电 大 学 、 南 京 邮电 
大 学 、 东 南大 学 、 西 安 交 通 大 学 、 天 津 大 学 、 西 安 电子 科技 大 学 、 电 子 科技 大 学 、 中 山大 学 、 哈 尔 
滨 工 业 大 学 、 西 南 交通 大 学 等 著名 高 校 的 教授 和 骨干 教师 参与 教材 的 翻译 和 审 校 工 作 。 许 多 教 
授 在 国内 电子 与 通信 专业 领域 享有 较 高 的 声望 , 具有 丰富 的 教学 经 验 , 他 们 的 渊博 学 识 从 根本 上 
保证 了 教材 的 翻译 质量 和 专业 学 术 方 面 的 严格 与 准确 。 我 们 在 此 对 他 们 的 辛勤 工作 与 贡献 表示 
衷心 的 感谢 。 此 外 , 对 于 编辑 的 选择 , 我 们 达到 了 专业 对 口 ; 对 于 从 英文 原 书 中 发 现 的 错误 , 我 
们 通过 与 作者 联络 、 从 网 上 下 载 勘 误 表 等 方式 , 逐一 进行 了 修订 ; 同时 , 我 们 对 审 校 、 排 版 、 印 制 
质量 进行 了 严格 把 关 。 

今后 , 我 们 将 进一步 加 强 同 各 高 校 教师 的 密切 关系 , 努力 引进 更 多 的 国外 优秀 教材 和 教学 参 
考 书 , 为 我 国电 子 与 通信 教材 达到 世界 先进 水 平 而 努力 。 由 于 我 们 对 国内 外 电子 与 通信 教育 的 
发 展 仍 存在 一 些 认识 上 的 不 足 , 在 选 题 、 翻 译 、 出 版 等 方面 的 工作 中 还 有 许多 需要 改进 的 地 方 ， 
县 请 广大 师 生 和 读者 提出 批评 及 建议 。 
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详 者 序 

Henry Stark 是 美国 伊利 诺 伊 理 工学 院 荣 誉 教授 , 长 期 致力 于 概率 、 统 计 与 随机 过 程 的 课程 
教学 及 其 相关 的 科学 研究 工作 , 该 书 自 1986 年 以 来 已 先后 出 版 了 四 个 版 本 , 作者 试图 以 浅显 
易 懂 、 富 有 启发 和 有 趣 的 方式 为 工科 学 生 介绍 概率 、 随 机 过 程 ， 允许 主讲 教师 灵活 地 选取 教学 
内 容 ,除了 概率 、 随 机 变量 和 随机 过 程 课 程 中 标准 内 容 的 介绍 外 , 书 中 还 涉及 了 建 模 、 基 本 统 
计 技 术 、 计 算 机 模拟 、 可 靠 性 、 和 、 马 尔 可 夫 链 和 排队 论 等 。 

在 电子 与 计算 机 工程 中 遇 到 的 系统 复杂 性 要 求学 生 不 仅 对 概率 论 与 随机 过 程 的 概念 有 深 
刻 的 理解 ,而 且 也 要 求学 生 要 有 使 用 概率 工具 的 能 力 , 因此 , 入门 性 的 课程 不 仅 应 该 包含 基本 
理论 , 而 且 也 应 该 能 解决 工程 中 的 实际 问题 , 学 生 不 仅 要 有 解决 问题 的 技能 , 也 要 理解 如 何 将 
实际 问题 转化 为 问题 求解 的 概率 模型 ,理论 与 实际 紧密 结合 。 从 实际 问题 到 概率 模型 的 转换 
方法 有 很 多 , 首先 , 重要 的 概念 通常 都 由 展示 的 实际 数据 或 计算 机 模拟 数据 建立 起 来 ; 其 次 ， 
书 中 选取 了 一 部 分 基本 的 统计 技术 , 这 一 部 分 展示 了 统计 方法 在 理论 与 实际 之 间 的 桥梁 作用 。 
最 后 , 重要 的 随机 变量 和 随机 过 程 都 是 通过 建 模 时 增加 变量 、 从 简单 到 复杂 的 方式 建立 起 来 。 

启发 和 激励 学 生 对 于 概率 与 随机 过 程 的 课程 是 一 个 很 大 的 挑战 , 这 要 求教 师 为 学 生 展 示 
概率 和 随机 过 程 的 理论 与 工程 实际 的 联系 。 书 中 选择 了 大 量 的 与 现实 生活 相 联 系 的 实例 ， 如 
休闲 娱乐 中 的 游戏 、 选 美 、 湖 中 鱼 的 数量 估计 , 公共 服务 中 的 入住 问题 、 等 车 时 间 、 客 户 服务 
时 间 , 可 靠 性 理论 中 的 设备 故障 率 、 备 用 宛 余 、 多 处 理 器 的 可 靠 性 , 图 像 处 理 中 的 图 像 压缩 、 
边缘 检测 、 医 学 图 像 的 疾病 判定 , 通信 中 的 光电 检测 、 通 信 误 码 率 、 分 组 交换 、 调 制 信号 分 析 ， 
信和 号 处 理 中 的 模 数 转换 器 、 线 性 预测 、 滤 波 器 分 析 、 内 插 与 抽取 , 互联 网 中 的 网 页 排名 等 。 书 
中 还 给 出 了 大 量 的 MATLAB 程序 , 并 给 出 了 部 分 需要 采用 MATLAB 才能 完成 的 作业 。 

与 教材 配合 的 网 站 给 出 了 本 书 的 两 章 扩 展 内 容 了 , 第 10 章 为 概率 和 随机 过 程 的 高 级 话题 ， 
包括 均 方 微 积分 、 随 机 微分 方程 、 遍 历 性 、Karhunen-Loeve 展开 、 春 限 过 程 和 周期 过 程 的 表示 
等 ; 第 11 章 为 统计 信号 处 理 中 的 应 用 , 包括 随机 变量 和 随机 向 量 的 估计 、 新 息 序列 和 卡尔 曼 
滤波 、 随 机 序列 的 维 纳 滤波 、 数 学 期 望 最 大 化 (EM) 算 法 、 隐 马尔 可 夫 模 型 、 谱 估计 、 模拟 退火 
算法 等 。 网 站 上 还 包含 了 一 部 分 演示 概率 论 和 随机 过 程 概念 的 MATLAB 程序 2 。 

本 书 每 一 章 都 有 大 量 的 例题 来 展示 问题 的 求解 技术 , 通过 问题 简化 来 建立 概念 和 说 明 其 
应 用 。 书 中 包括 了 700 多 道 习题 , 每 一 章 的 最 后 还 增加 了 一 些 附加 题 , 这 些 题 需要 阅读 补充 材 
料 才 能 完成 。 在 本 书 的 网 站 上 还 给 出 了 许多 测试 题 和 多 项 选择 题 , 这 是 作者 1988 - 2006 年 在 
伊利 诺 伊 理工 学 院 任教 期 间 为 高 年 级 本 科 生 和 研究 生出 的 试题 。 

参与 本 书 翻译 的 有 罗 鹏 飞 (第 1 章 、 第 2 章 )、 张 文明 (第 6 章 、 第 7 章 )、 谢 晓 霞 (第 8 章 、 
第 9 章 )、 许 可 (第 3 章 、 第 4 章 , 第 5 章 、 附 录 A ~ 附录 G), 最 后 由 罗 鹏 飞 对 全 书 的 译文 进行 
了 校对 和 整理 。 

由 于 译 者 的 水 平 有 限 , 文中 难免 有 不 当 之 处 , 敬 请 读者 批评 指正 。 男 外 , 在 本 书 即将 付 印 
之 前 , 收 到 了 原作 者 的 勘误 表 。 我 们 对 其 逐一 进行 了 修订 。 





@ 登录 华 信和 教育 资源 网 (http://www. hxedu. com. cn) 可 下 载 本 书 第 10 章 和 第 11 章 的 内 容 ( 英文 版 ) 。 
@@ 采用 本 书 作为 教材 的 教师 可 获得 本 书 的 配套 教 辅 , 请 联系 010-88254555 或 发 邮件 至 te_service@ phei. com. cn 索取 。 
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当前 的 版 本 相对 于 前 一 版 本 有 了 相当 大 的 改变 , 作者 试图 保持 通俗 易 懂 的 风格 , 少 用 测度 
理论 , 也 就 是 比 测度 理论 方法 少 一 点 数学 , 但 又 比 一 般 公式 和 手册 指南 多 一 份 严 间 。 

人 们 都 说 概率 很 难 理解 , 不 仅 是 因为 数学 基础 ,而 是 因为 它 产 生 了 许多 与 直观 不 相符 的 结 
果 。 在 许多 应 用 型 的 学 生 中 , 概率 论 有 许多 批评 论调 , 在 这 些 批 评论 调 中 , 居 首 位 的 就 是 “我 
们 为 什么 需要 概率 论 呢 ? "这 种 批评 很 容易 回答 ， 因 为 未 来 的 工程 师 和 科学 家 将 会 认识 到 , 几 
乎 人 类 的 每 一 次 尝试 都 包含 在 不 确定 或 者 概率 的 环境 中 做 出 决定 , 像 保 险 、 气 象 、 城 市 规划 、 
医药 等 领域 确实 都 是 如 此 。 男 一 种 更 有 说 服 力 的 批评 是 :“ 如 果 概 率 论 提供 的 答案 不 是 确定 
的 , 而 只 是 一 种 推断 和 可 能 , 那么 它 又 好 在 哪里 呢 ?” 这 里 的 答案 就 是 ， 即 使 在 不 确定 的 领域 
里 , 也 可 以 做 许多 好 的 计划 和 精确 的 预测 。 此 外 , 应 用 概率 一 一 常常 也 称 为 统计 学 , 确定 提供 
了 几乎 确定 的 结果 : 在 政治 性 民意 测验 和 预测 中 就 提供 了 有 力 的 证 据 。 

在 前 一 版 本 中 , 我 们 只 是 稍微 涉及 了 统计 学 的 领域 , 更 强调 随机 过 程 和 信号 处 理 领域 。 在 
本 书 的 电子 版 中 , 研究 生 级 的 信号 处 理 、 随 机 过 程 的 高 级 话题 讨论 与 统计 学 方面 的 新 材料 一 起 
被 保留 下 来 , 而 在 本 书 中 , 我 们 删除 了 统计 信和 号 处 理 的 应 用 、 随 机 过 程 的 高 级 话题 以 及 模式 识 
别 和 信 门 资料 的 那些 音节 。 

目前 的 版 本 用 了 很 多 说 明 性 的 例子 和 详细 的 讨论 , 尽 了 很 大 的 努力 使 学 生 能 够 理解 概 
念 。 我 们 把 一 些 短语 的 应 用 降 到 最 小 程度 ,如 “很 容易 证 明 ……”、“ 可 以 证 明 ……”、“ 容 易 
看 出 ……”, 等 等 。 我 们 尝试 提供 一 些 现 实 中 的 例子 , 如 “ 药 效 ”"、“ 传 染 的 可 能 性 ”、“ 赌 博 中 
赢 的 几率 ”,， 以 及 数字 通信 、 网 络 和 信号 等 。 

另 一 个 主要 的 变化 是 增加 了 统计 学 基础 及 其 在 现实 中 的 应 用 两 章 内 容 , 第 一 部 分 讨论 参 
数 估计 , 第 二 部 分 讨论 假设 检验 。 工 程 中 有 许多 问题 涉及 参数 估计 , 例如 ,从 估计 一 个 新 方案 
的 优点 到 估计 计算 机 之 间 的 交通 信号 的 数量 , 此 外 , 许多 工程 活动 都 需要 在 随机 环境 中 做 出 判 
决 , 从 决定 一 个 新 药 是 否 有 效 , 到 判定 一 种 新 的 教学 方法 是 否 有 效 。 用 详细 的 实例 介绍 和 讨论 
了 一 些 标准 统计 工具 的 来 源 和 应 用 , 如 1 检验 、X 检验 和 下 检验 等 , 在 每 章 最 后 还 给 出 了 对 应 
的 习题 。 

最 后 , 在 本 书 的 网 站 上 还 给 出 了 许多 测试 题 和 多 项 选择 题 , 这 是 其 中 一 位 作者 于 1988 年 
至 2006 年 间 在 伊利 诺 伊 理 工学 院 任教 期 间 为 高 年 级 本 科 生 和 研究 生出 的 试题 。 网 站 也 包含 了 
一 部 分 演示 概率 论 概念 的 MATLAB 程序 。 

总 而 言 之 , 熟悉 第 三 版 的 读者 将 会 看 到 下 列 明显 的 变化 : 


。 在 统计 学 的 分 支 方面 增加 了 称 为 “参数 估计 ”的 新 的 一 章 , 并 给 出 了 许多 说 明 性 的 例题 。 
。 在 统计 学 的 分 支 方 面 增加 了 称 为 “假设 检验 ”的 新 的 一 章 , 并 给 出 了 许多 说 明 性 的 例题 。 
。 给 出 了 大 量 新 的 习题 , 习题 的 难度 不 同 , 用 以 检验 学 生 对 统计 学 原理 的 掌握 。 

。 在 网 站 上 给 出 了 大 量 的 测试 题 和 多 项 选择 题 , 并 在 每 一 章 给 出 了 标准 解答 。 





。 从 概率 与 统计 的 应 用 领域 选取 了 许多 应 用 实例 。 

。 更 多 地 借助 计算 机 来 辅助 教学 , 例如 ，(i) 概率 现象 的 图 形 显示 ; (i) 利 用 MATLAB 程 
序 来 说 明 概率 论 的 一 些 概念 ;( 二 ) 部 分 作业 要 求 使 用 MATLAB 或 Excel。 

e 许多 来 自学 生 反馈 的 问题 , 在 文中 已 经 过 修改 , 从 而 促进 学 生 对 教材 难点 问题 的 理解 。 


Henry Stark 
John W. Woods 
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第 上 章 ”概率 论 寻 论 


1.1 引言 : 为 什么 要 学 习 概率 论 


初学 概率 论 的 学 生 问 得 最 多 的 问题 是 : 随机 的 本 质 是 什么 ?真正 的 随机 与 由 于 信息 缺 
乏 而 当成 随机 有 何 区 别 ? 首先 考 虑 有 关 随 机 现象 的 问题 。 “随机 现象 存在 吗 ?” 当 我 们 用 天 
文 望远镜 观测 宇宙 时 , 可 看 到 许多 星系 、 人 恒星、 行星 组 成 的 巨大 阵列 , 以 明显 的 随机 顺序 和 
位 置 排列 。 

从 男 一 个 极端 来 说 , 宇宙 的 尺寸 在 原子 级 又 会 怎样 呢 ? 我 们 的 朋友 , 物理 学 家 们 把 这 样 的 
事情 说 成 是 原子 系统 处 于 某 种 状态 的 概率 , 不 确定 性 原理 告诉 我 们 , 粒子 的 位 置 和 动量 能 够 同 
时 被 测定 的 精度 是 有 限制 的 , 两 个 量 是 模糊 的 和 不 确定 的 。 

包括 一 些 著 名 的 物理 学 家 在 内 的 许多 人 都 相信 ,自然 界 的 本 质 是 随机 的 。 欧 根 ( Eugen 
Merzbacher) 在 他 的 量子 力学 的 著名 教科 书 " "中 写 道 : 

量子 力学 的 概率 理论 认为 , 刚才 那个 例子 所 说 的 不 确定 性 是 自然 界 固 有 的 特性 , 不 仅仅 是 
专业 的 暂时 缺乏 , 需要 在 未 来 有 更 好 和 更 完善 的 理论 去 解决 。 这 一 常规 的 解释 否认 了 那 种 包 
含 当前 量子 力学 的 、 没 有 瑕 疯 的 理想 理论 的 可 能 性 ， 量子 力学 最 难听 的 词 “ 不 完美 ”就 是 对 严 
格 经 典 的 确定 性 的 抛弃 。 

然而 , 在 讨论 概率 方法 的 合理 性 时 ,确定 性 与 固有 的 不 确定 性 问题 是 永远 也 不 需要 考虑 
的 。 事 实 上 有 数 不 清 的 情况 , 在 考虑 一 个 现象 时 无 法 做 出 明确 的 结论 , 因为 观测 不 到 所 有 对 该 
现象 做 出 贡献 的 所 有 因素 。 例 如 , 预测 电阻 R 由 热 引 起 的 噪声 电流 i(t) ， 毫 无 疑问 ， 如 果 持 
续 跟 踪 大 约 10” 个 受 激 电 子 在 彼此 磁场 中 的 移动 并 产生 本 地 场 脉冲 , 这 些 本 地 场 脉冲 最 终 对 
产生 电流 做 出 贡献 , 就 能 精确 地 预测 未 来 某 个 时 刻 的 电流 i) , 这样 的 计算 是 不 可 思议 的 ， 因 
此 使 用 概率 模型 而 不 是 麦克 斯 韦 方 程 来 处 理 电 阻 噪声 。 类 似 的 话题 还 有 气象 预测 、 投 掷 一 枚 
真实 硬币 的 结果 、 计 算 机 失效 时 间 、CMOS 成 像 器 的 暗 电 流 等 。 我 们 得 出 结论 : 确定 性 与 非 确 
定性 , 无 论 你 站 在 哪 一 边 , 在 现实 生活 中 都 被 迫 采 用 概率 模型 ， 因 为 我 们 不 知道 ,也 不 可 能 计 
算 和 测量 所 有 对 事件 做 出 贡献 的 力 , 这 种 力 太 复杂 、 太 多 、 也 太 微 弱 。 

概率 是 一 种 帮助 我 们 用 平均 研究 物理 系统 的 数学 模型 , 我 们 应 该 能 够 在 相同 条 件 下 重复 
实验 。 因 此 , 诸如 “彗星 明天 撞击 地 球 的 可 能 性 是 多 少 ?” 或 者 “其 他 行星 上 存在 生命 的 可 能 性 
有 多 大 ?”, 这 样 的 问题 绝 不 要 用 概率 来 回答 , 这 里 的 问题 是 我 们 没有 过 去 的 类 似 的 “实验 ” 
数据 。 

费 希 尔 (R. A. Fisher) 和 米 泽 斯 (R. von Mises ) 在 20 世纪 早期 对 建立 现代 概率 论 的 基本 理 
论 做 出 了 重要 贡献 ,本 书 许多 现代 公理 化 的 处 理 大 都 是 依据 科 尔 莫 戈 罗 夫 "| ( Andrei N. Kol- 
mogorov ) 工作 的 结果 。 


1.2 概率 的 不 同类 型 


有 四 种 基本 的 概率 类 型 , 这 里 将 简要 进行 讨论 。 


2 概率 、 统 计 与 随机 过 程 ( 第 四 版 ) 


直观 概率 


这 类 概率 是 基于 直观 来 处 理 和 判断 的 。 这 样 ,“ 她 可 能 与 他 结婚 "和 ”他 可 能 开 得 太 快 就 
属于 这 一 类 。 直 观 概率 会 得 出 一 些 矛 盾 的 特性 。 乔 (Joe ) 仍 有 可 能 买 进口 的 Itsibitsi， 因 为 它 
的 可 靠 性 在 全 球 是 著名 的 , 即使 他 的 邻居 弗兰克 (Frank) 有 一 辆 使 用 了 19 年 从 未 抛 过 锚 的 别 
克 汽 车 , 而且 乔 的 另 一 个 邻居 比尔 (Bi ) 在 修理 店 也 有 一 辆 Itsibitsi。 这 样 , 乔 自 然 会 通过 统 
计 进 行 “ 合 理 的 ”推断 , 而 忽略 了 它 的 个 人 观测 。 另 一 方面 如 果 弗 兰 克 说 比尔 认为 他 或 许 在 
当地 的 池塘 看 见 了 鳄鱼 , 那么 , 乔 就 会 对 他 九 岁 女儿 在 那个 池塘 游泳 担忧 。 尽 管事 实 是 没有 人 
说 曾经 在 这 个 池塘 看 见 过 鳄鱼 , 无数 的 人 在 那个 池塘 游泳 也 没有 被 鲍鱼 咬 过 。 为 了 给 这 个 例 
子 以 某 种 可 信和 度 , 假定 池塘 是 在 佛罗里达 州 。 这 里 , 乔 忽 略 了 统计 而 对 谣传 做 出 了 反应 。 为 什 
么 ?可 能 是 因为 池塘 里 有 鳄鱼 的 “意外 事情 "对 乔 的 代价 太 高 "”。 

购买 彩票 的 人 直观 地 相信 某 些 数 的 组 合 , 如 他 们 孙子 的 生日 , 要 比 06-06-06 更 容易 中 奖 。 
很 多 人 会 根据 在 之 前 的 行为 下 注 , 如 果 一 个 硬币 在 前 7 次 的 投掷 都 是 正面 , 那么 下 一 次 投掷 是 
否 仍 为 正面 ? 许多 人 都 认为 便 币 有 某 种 记忆 , 因此 , 在 7 次 正面 后 , 在 接 下 来 的 投掷 中 硬币 出 
现 更 多 的 反面 是 很 正常 的 事情 。 

处 理 直 观 概率 的 数学 理论 是 由 库 普 曼 (B. 0. Koopman) 建立 的 " ,但 在 本 书 不 讨论 这 
个 内 容 。 


古典 概率 


在 这 一 方法 中 , 事件 的 概率 不 是 实验 性 的 , 而 是 通过 预先 计算 事件 可 能 发 生 的 次 数 ns， 
形成 一 个 比值 ns/n, 其 中 n 是 所 有 可 能 的 结果 , 也 就 是 事件 巨 发 生 的 次 数 与 其 他 次 数 的 总 和 
mso 这 里 应 注意 的 是 所 有 结果 是 等 可 能 的 。 假 定 掷 一 对 无 偏 的 六 面 仍 子 , 问 得 到 7 的 概率 是 
多 少 。 我 们 将 结果 空间 划分 为 36 个 等 可 能 的 结果 , 如 表 1. 2-1 所 示 , 表 中 每 一 个 结果 是 两 个 
锅子 数 之 和 。 

表 1.2-1 投掷 的 结果 











两 个 骨 子 
第 一 个 货 子 
第 二 个 仍 子 

1 2 3 4 5 6 
1 2 3 4 5 6 7 
2 3 4 5 6 7 8 
3 4 5 6 8 9 
4 5 6 7 8 9 10 
5 6 7 8 9 10 11 
6 7 8 9 10 11 12 


投掷 结果 总 数 是 36, 得 到 7 的 次 数 是 6。 因 此 
1 


4 _6_1 
P[ 得 到 7] = 一 6 
例 1.2-1 ( 毛 一 枚 均匀 硬币 两 次 ) 可 能 的 结果 是 HH, HT, TH 和 TT, 至 少 得 到 一 次 反面 
的 概率 计算 如 下 : 用 万 表示 至 少 得 到 一 次 反面 的 事件 , 则 万 是 下 列 结果 的 集合 : 
E = {HT.TH,TT} 


这 样 ,无 论 结果 是 HT 或 者 TH 或 TT 事件 ,事件 妃 都 发 生 。 事 件 召 元 素 的 个 数 是 mp =3， 实 


验 结果 总 数 N 是 4， 因此 
P[ 至 少 一 次 反面 ]= ?2 = 了 

注意 ,由 于 没有 涉及 物理 实验 , 假定 理想 的 “均匀 硬币 ”是 没有 问题 的 , 在 古典 概率 中 ， 每 一 个 
实验 都 没 认为 是 “公平 "的 。 

古典 概率 至 少 会 遇 到 两 个 问题 : (1) 它 不 能 处 理 实验 结果 不 是 等 可 能 的 情况 ; (2) 它 不 能 
处 理 实验 结果 是 无 穷 大 的 情况 , 即 n= o 的 情况 。 然 而 , 在 那些 不 可 能 通过 实验 去 确定 实验 结 
果 概 率 的 情况 下 ， 以 及 确实 对 等 可 能 实验 结果 有 争论 的 情况 下 , 古典 概率 是 有 用 的 。 

从 历史 上 看 , 古典 概率 的 前 身 是 米 泽 斯 ”在 20 世纪 30 年 代 建立 的 相对 频率 的 方法 。 
频率 作为 概率 的 测度 

相对 频率 的 方法 定义 事件 巨 的 概率 要 进行 n 次 重复 实验 , 事件 互 发 生 的 次 数 用 ns 表示 ， 
那么 , 事件 五 发 生 的 概率 定义 为 

PIB|= lim 人 (1.2-1) 

很 显然 , 由 于 ns<n, 所 以 , 0<PLE]<1。 这 一 方法 的 困难 在 于 我 们 不 可 能 做 无 穷 多 次 实 
验 , 所 以 , 只 能 从 有 限 次 实验 去 估计 PLE]。 其 次 , 假定 当 nn 趋向 无 穷 时 ng/r 趋向 于 一 个 
极限 , 但 是 , 考虑 投掷 1000 次 均匀 硬币 ,精确 地 得 到 500 次 正面 的 可 能 性 是 非常 小 的 ; 事 
实 上 ,如 果 投 毛 10 000 次 , 得 到 5000 次 正面 的 可 能 性 甚至 会 更 小 。 当 n 一 % 时 , 精确 地 观 
测 到 ?2 次 正面 的 事件 变 得 非常 小 , 但 是 , 对 于 均匀 硬币 , 我 们 的 直观 要 求 P[ 正面 ] =1/2。 
假定 选择 一 个 6 >0, 如 果 硬 币 确 实 是 均匀 的 , 那么 , 通过 实验 发 现 , 随 着 n 变 得 很 大 


> 0 (1.2-2) 








的 次 数 将 变 得 很 小 。 这 样 , 尽管 在 实验 的 任何 阶段 , 特别 是 当 nn 很 大 时 , ns/rn 精确 地 等 于 1/2 
是 不 可 能 的 , 这 个 比值 永远 都 在 1/2 上 下 徘徊 。 根 据 式 (1.2-2)，, 偏离 1/2 附近 的 次 数 确实 变 
得 很 小 。 

用 相对 频率 定义 概率 尽快 存在 这 些 , 但 在 将 概率 论 应 用 于 现实 世界 时 , 相对 频率 的 概念 仍 
是 很 重要 的 。 

例 1.2-2 (random. org) 互 联网 的 一 个 随机 数 源 是 RANDOM.ORG, 这 是 由 爱尔兰 都 柏 
林 的 圣 三 一 学 院 的 计算 机 与 统计 学 院 的 一 个 教授 建立 的 , 他 依据 大 气 噪声 的 函数 来 计算 随 
机 数 ， 并 且 通 过 了 随机 性 真实 的 许多 统计 检验 。 利 用 该 网 站 的 免费 服务 , 下 载 了 10 000 个 
随机 数 , 每 一 个 随机 数 等 可 能 地 在 1~100 取 值 , 写 了 一 个 MATLAB 函数 RelativeFre- 
quencies ()， 利用 该 函数 读 取 随机 数 文件 并 画 出 比值 np/n 与 实验 次 数 rh 的 曲线 , n=1， 
… ,10 000。 选 择 事件 巨 表示 100 个 数 中 任意 一 个 数 的 出 现 。 例 如 互生 | 数字 5 出 现 | 。 次 数 
ng 表示 到 nn 次 实验 中 数字 5 出 现 的 次 数 , 得 出 的 输出 如 图 1.2-1 所 示 , 图 中 可 以 看 出 ， 对 于 
100 个 等 可 能 的 数 , 它 有 收 化 到 理想 值 0.01 =1/100 这 样 一 个 趋势 。 图 1.2-2 给 出 了 数字 选择 
为 23 时 的 图 形 , 它 同样 也 有 收敛 到 0.01 的 趋势 。 在 两 种 情况 下 , 我 们 注意 到 对 于 任意 的 ， 
尽管 这 种 收敛 值 并 不 是 精确 的 ,但 是 它 还 是 收敛 到 理想 值 的 附近 。 

这 个 程序 放 在 本 书 的 网 站 上 。 
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图 1.2-1 从 大 气 噪 声 画 出 的 召 = | 数字 5 出 现 | 的 ns/n~nn 图 ( 引 自 网 站 RANDOM .ORG) 





1000 2000 3000 4000 5000 6000 7000 8000 9000 10 000 
图 1.2-2 从 大 气 噪声 画 出 的 恕 = | 数字 23 出 现 | 的 ng/n ~n 图 ( 引 自 网 站 RANDOM .ORG) 
基于 公理 化 理论 的 概率 
公理 化 方法 是 出 现在 大 多 数 近 代 的 教材 中 。 为 了 建立 这 一 理论 , 我 们 必须 引入 某 些 概念 ， 
特别 是 诸如 随机 实验 、 样 本 空间 、 事 件 。 简 单 地 说 ,随机 实验 是 一 种 实验 结果 带 有 不 确定 性 的 
实验 , 在 每 次 实验 中 , 实验 的 可 能 结果 不 止 一 个 , 这 也 是 随机 实验 中 “随机 ”这 个 词 的 由 来 ; 样 
本 空间 是 随机 实验 所 得 结果 的 集合 ; 事件 是 样本 空间 中 满足 某 些 约束 的 子 集 , 例如 , 我 们 希望 
能 够 计算 每 个 事件 的 概率 。 此 外 , 在 不 可 数 或 者 连续 的 样本 空间 的 情况 下 , 对 那些 有 技术 约束 
的 子 集 也 叫做 事件 ; 只 有 一 个 实验 结果 的 事件 称 为 基本 事件 。 这 些 术语 将 在 1.4 节 和 1.5 节 进 
行 更 为 详细 的 解释 。 


1.3 概率 的 误 用 、 误 算 和 悖 论 


在 日 常生 活 中 概率 的 误 用 是 很 常见 的 , 下面 给 出 一 些 误 用 的 例子 。 考 虑 一 个 谋杀 案 的 被 
告 , 对 谋杀 他 妻子 一 案 并 不 认罪 , 被 告 打 他 妻子 有 很 大 的 偶然 性 。 他 的 律师 辩护 说 ,被 告 确实 
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打 过 妻子 , 但 是 很 多 男人 都 打 老 婆 , 在 打 老 婆 的 男人 中 谋杀 老婆 的 概率 只 有 0. 001, 即 千 分 之 
一 。 让 我 们 假定 这 一 陈述 是 真实 的 话 , 那 就 意味 着 通过 隐喻 打 老婆 并 不 表明 谋杀 老婆 这 样 一 
个 事实 来 影响 陪审 团 。 遗 憾 的 是 , 除非 陪审 团 成 员 学 过 概率 论 的 课程 , 他 们 可 能 并 没有 意识 到 
下 面 更 有 意义 的 问题 : 假定 一 个 受 虐 待 的 老婆 被 谋杀 ,丈夫 是 凶手 的 概率 是 多 少 呢 ?事实 上 ， 
统计 表明 这 个 概率 大 于 1/2。 

在 1996 年 的 总 统 欧 选 中 , 参议 员 多 尔 (Bob Dole) 的 年 龄 成 了 大 家 关注 的 话题 , 他 的 对 手 
声称 72 岁 的 男性 白人 在 随后 五 年 死去 的 风险 有 27% 。 这 引起 了 争论 , 如 果 多 尔 当 选 , 那么 在 
他 任期 内 去 世 的 概率 大 于 四 分 之 一 。 争 论 的 问题 是 , 在 计算 生存 概率 时 没有 附加 相关 事实 作 
为 条 件 。 即 便 如 此 , 当 一 个 72 岁 的 男性 仍 在 工作 , 且 比 较 富有 , 那么 考虑 这 些 附加 的 事实 , 73 
岁 ( 假 定 多 尔 就 任 总 统 的 岁数 ) 平 均 来 说 在 后 四 年 死去 只 有 八 分 之 一 的 机 会 1。 

概率 的 误 用 在 对 外 星球 生命 的 预测 中 也 频繁 出 现 , 在 奥 采 尔 (Amir Aczel) 的 “Probability 
1” (Harcourt Brace & Company，1998 ) 一 书 中 要 我 们 确信 外 星人 肯定 存在 ， 只 等 我 们 去 发 现 。 
然而 , 伦敦 帝国 理工 大 学 的 约翰 * 多 伦 特 (John Durant ) 为 奥 采 尔 书 写 了 富有 说 服 力 的 评述 : 

统计 学 十 分 强大 和 重要 ， 奥 采 尔 对 此 非常 清楚 。 但 是 ， 关 于 宇宙 的 规律 是 不 能 用 统计 学 去 
替代 经 验 知识 ,我 们 还 没有 一 种 合理 的 方式 来 对 宇宙 的 运行 规律 做 出 稳定 的 估计 。 我 们 也 没 
有 一 种 合理 的 方式 得 出 在 条 件 合适 的 情况 下 生命 自然 出 现 的 概率 的 稳定 估计 。 因 此 ， 除 非 我 
们 发 现 了 外 星人 之 前 或 者 深刻 理解 了 至 少 一 种 陆地 生命 的 起 源 ， 我 们 只 能 猜测 在 宇宙 的 其 他 
地 方 存在 生命 的 可 能 性 ,只 要 我 们 是 在 猜测 ,就 不 要 对 我 们 有 趣 的 猜测 披 上 数学 确定 性 的 
外 衣 。 

基于 相对 频率 的 概率 计算 有 可 能 导致 悖 论 , 在 参考 文献 [1 -3] 中 可 以 找到 一 个 很 好 的 例 
子 , 这 里 重 述 如 下 : 


在 一 组 35 ~50 岁 的 美国 妇女 的 样本 中 , 有 4% 的 人 在 一 年 内 患 乳 腺 癌 。 那 么 , 49 岁 的 史 
密斯 (Smith) 女 士 在 第 二 年 患 乳腺 癌 的 机 会 达 4% ? 这 个 问题 没有 答案 。 假 定 一 组 45 ~90 岁 
的 妇女 样本 类 ， 即 史密斯 女士 所 属 的 类 ， 有 11% 的 人 在 一 年 内 患 乳 腺 癌 的 ， 那么 , 史密斯 患 乳 
腺 癌 的 机 会 是 4% 呢 还 是 11% ? 假定 她 的 母亲 患 过 乳腺 癌 , 而 母亲 患 过 乳腺 癌 的 45 ~90 岁 年 
龄 段 的 妇女 中 , 22% 的 人 会 得 乳腺 癌 ，, 那么 , 史密斯 患 乳 腺 癌 的 机 会 究竟 是 4% 、11% 或 22% ? 
她 是 希腊 后 前 ,还 抽烟 ， 生 活 在 加 利 福 尼 亚 ,25 岁 前 有 两 个 孩子 , 40 岁 以 后 又 生 了 一 个 , 我们 
该 把 她 归 到 哪个 类 来 算出 患 乳腺 癌 的 机 会 呢 ?” 你 或 许 会 认为 , 她 的 类 越 具 体 , 结果 越 准确 。 然 
后 , 类 越 具 体 ,， 类 的 数量 就 越 小 , 频率 的 可 靠 性 也 就 越 低 。 如 果 在 世界 上 非常 像 史 密斯 的 人 只 
有 两 个 , 其 中 一 个 患 乳 腺 癌 ， 那 是 不 是 该 说 史密斯 患 乳腺 癌 的 机 会 是 50% ? 在 极限 的 情况 下 ， 
唯一 与 史密斯 的 详细 细节 具有 可 比 性 的 类 就 是 史密斯 自己 , 但 在 这 一 个 类 里 , 相对 频率 是 没有 
意义 的 。 

前 面 的 例子 应 该 不 会 留 下 这 样 的 印象 : 基于 相对 频率 的 概率 是 无 用 的 。 第 一 , 有 许多 工程 
和 科学 问题 并 不 像 史密斯 女士 患 癌症 的 可 能 性 那么 复杂 。 第 二 , 如 果 我 们 提炼 类 , 从 而 减少 类 
的 容量 , 那么 , 基于 相对 频率 的 估计 就 会 变 得 不 稳定 。 但 究竟 有 多 大 的 不 稳定 是 概率 和 统计 的 
研究 领域 (参见 4.4 节 的 大 数 定理 ) 。 第 三 , 有 许多 情况 , 为 了 得 到 好 的 概率 估计 , 类 的 提炼 所 
要 求 的 条 件 是 类 的 容量 足够 大 。 再 回 到 史密斯 女士 的 问题 , 如 果 类 的 容量 变 得 太 小 , 那么 ,应 
该 停止 添加 条 件 , 学 会 用 大 的 类 去 估计 概率 , 这 类 估计 对 于 筛选 实验 也 就 够 了 。 
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1.4 集合 、 域 和 事件 


集合 是 客观 物体 的 总 体 , 物体 可 以 是 具体 的 , 也 可 以 是 抽象 的 。 集 合 的 一 个 例子 就 是 纽约 
所 有 身高 超过 6 英尺 的 居民 的 总 体 , 集合 的 子 集 就 是 包含 在 一 个 更 大 集合 中 的 一 个 总 体 。 身 
高 在 6 ~6.5 英尺 的 纽约 居民 的 总 体 是 前 一 个 集合 的 子 集 。 在 概率 论 中 , 称 集合 为 事件 , 我 们 
特别 感 兴趣 的 是 所 有 随机 实验 结果 的 集合 及 其 子 集 。 所 有 实验 结果 的 集合 用 @ 表示 , 单一 的 
实验 结果 用 上“ 表示。 集合 2 称 为 随机 实验 的 样本 空间 。2? 的 子 集 称 为 事件 , 事件 发 生 的 概率 
是 我 们 感 兴趣 的 。2 自身 也 称 为 必然 事件 ,而 空 集 由 也 称 为 零 事件 。 
样本 空间 的 例子 

例 1.4-1 ( 投 搬 硬币 ) 随机 试验 由 投 帮 一 次 硬币 构成 ,那么 有 = | 及, 7 ,其 中 瓦 表示 正 
面 , 了 表示 反面 。 

例 1.4-2 (投掷 硬 币 两 次 ) 随机 试验 由 投掷 硬币 两 次 构成 ,那么 凡 =1HH，HT，TH， 
TT}+ ,其 中 互 表 示 正 面 , 表示 反面 。 人 2 有 16 个 子 集 ， 其 中 一 个 子 集 五 =1HH,，HT, TH| 是 在 
两 次 投 孝 中 至 少 有 一 次 是 正面 的 事件 。 

例 1.4-3 ( 头 上 的 头发 ) 实验 是 随机 挑选 一 个 人 , 数 他 (她 ) 头 上 的 头发 ,那么 

从 三 -Ts 人 
即 到 10" 的 所 有 非 负 整数 的 集合 , 这 里 假定 了 没有 一 个 人 的 头发 会 超过 10" 根 。 

例 1.4-4 (夫妻 双方 的 年 龄 ) 随机 实验 由 确定 随机 选 定 的 一 对 年 龄 最 接近 的 夫妻 的 年 龄 
组 成 。 用 表示 男方 的 年 龄 ,Y 表示 女方 的 年 龄 ,02 可 描述 为 

人 = | 二 元 组 (XxX, Y): YX 是 10 ~200 之 间 的 任何 整数 ; Y 是 10 ~200 之 间 的 任何 整数 | 

注意 到 在 例 1. 4-4 中 , 假定 没 人 能 活 过 200 岁 , 也 没 人 在 10 岁 前 结婚 。 类 似 地 , 在 
例 1.4-1 中 , 硬币 永远 不 会 以 边沿 着 地 。 如 果 后 者 是 一 种 可 能 的 结果 , 它 必须 包含 在 2 中 , 因 
为 2 是 所 有 实验 结果 的 集合 , 它 是 必然 事件 。 

例 1.4-5 (弹性 碰撞 的 角度 ) 随 机 实验 是 由 观察 弹性 碰撞 实验 中 核 粒子 的 偏转 角度 构成 
的 。 那 么 


人 2 的 一 个 子 集 的 例子 是 


例 1.4-6 (电力 ) 随 机 实验 是 由 测量 一 个 电流 驱动 的 电阻 的 瞬时 功率 组 成 的 。 那 么 
0Q= {P:P>0} 
由 于 功率 不 可 能 为 负 的 , 我 们 忽略 的 负 值 。02 的 一 个 子 集 是 事件 B=|I1P>10“W|。 
注意 到 在 例 1.4-5 和 例 1.4-6 中 , 在 2 中 的 元 素数 量 是 不 可 数 无 穷 的 , 因此 , 它 的 子 集 也 
是 不 可 数 无 穷 的 。 当 实验 结果 的 数量 是 有 限时 , 如 例 1. 4-4 所 示 , 不 同 子 集 的 实验 结果 的 数量 
也 是 有 限 的 , 每 一 个 子 集 表示 一 个 事件 。 这 样 , 如 果 Q = 12,…，iw ,的 可 能 子 集 数 有 2” 
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个 , 这 一 点 可 以 通过 考察 4; 是 不 是 在 Q 任何 一 个 子 集中 得 出 。 这 样 可 以 得 出 2* 个 不 同 的 子 集 
或 事件 , 包括 必然 事件 和 不 可 能 事件 或 零 事件 。 
集合 论 回顾 ”两 个 集合 和 的 并 (和 ) 记 为 BUF 或 +f, 它 是 由 所 有 那些 在 五 或 下 
中 的 元 素 构成 。 因 此 , 如 果 EE=|1,2,3,4} 和 F=|1,3,4,5,6}o 
EUF= {1,2,3,4,5,6} 
如 果 轧 是 下 的 子 集 , 用 巨 CF 表示, 很 显然 , 如 果 饭 CF, 可 得 出 UF =F。 用 表示 0 的 元 
素 , 或 “属于 ”0Q, 记 为 Le 0, 这 样 , 可 以 记 为 
EUF={i:ltEeEEorCcer} (1.4-1) 
其 中 “or" 表 示 “ 或 ”"。 显 然 , BUF =FUE。 两 个 集合 和 下 的 交 或 积 记 为 BNF 或 EF, 它 是 
那些 同时 在 五 和 下 中 元 素 的 集合 。 在 前 面 的 例子 中 
EF = {1,3,4} 
正规 的 写法 是 EFA 1: YeB 和 eeFl =FE, 集合 的 补 集 记 为 所, 它 是 由 所 有 不 在 中 的 
元 素 的 集合 。 由 此 可 见 , 如 果 0 是 样本 空间 或 更 一 般 的 全 集 , 则 
EUE°=0 (1.4-2) 
另外 , EE = 小 , 集合 的 差 或 者 是 更 一 般 地 称 为 巨 减 下 , 它 是 由 那些 在 中 但 不 在 FF 中 的 元 素 
组 成 , 记 为 -Ff。 很 显然 
E—-FEepF 


F-EESFE° 
但 需要 注意 的 是 , 集合 的 差 不 像 数 字 的 差 , 例如 , F -EE-E=F -EE。 两 个 集合 的 不 相 容 ( ex- 
clusive) 是 由 在 五 或 中 、 但 不 同时 在 EB 和 下 中 的 那些 元 素 构 成 , 记 为 B@@F。 很 容易 证 明 ®® 
E@F=(E-F)U(F-E) (1.4-3) 
并 、 交 等 运算 可 以 用 维 恩 图 说 明 , 维 恩 图 在 辅助 推理 和 建立 概率 关系 是 很 有 用 的 。 集 合 的 不 同 
运算 BUF, EF, EF', -FF-E, EQ@F 在 图 1.4-1 中 用 和 斜 线 表示 。 
如 果 两 个 集合 EF =$， 即 它们 没有 共同 元 素 , 我 们 称 马 与 是 互 斥 的 。 给 定 任何 任意 集 
合 马 ,的 n 划 分 是 由 一 系列 集合 怠 , 构 成 , 其 中 =1,2,…, n, EB;,CE, Ui_iB;=, 且 对 于 
i ,， 有 一刀 =$。 因 此 , 给 定 两 个 集合 巨 和 下 , 的 2 划分 为 


F=FEUFE: (1.4-4) 
使 用 维 恩 图 很 容易 得 出 下 列 结果 : 

(EUF):= EF:° (1.4-5) 

(EF):= EUF:° (1.4-6) 
由 数学 归纳 法 可 以 证 明 @: 给 定 集合 机 ，…, 五 ,， 有 

[Ua -= Nes (1.4-7) 

$==] $= 二 





Q@ 记 住 : 在 集合 中 元 素 的 顺序 并 不 重要 。 

@ 式 (1.43) 表 明 并 用 U 而 不 用 + 表示 , 刚 学 习 的 学 生 也 可 能 错误 地 写 ( 互 -F) + (F-E) =B-F+F-E=0, 这 个 式 子 没有 
任何 意义 , 注意 玉 +Fz2F, 这 个 式 子 也 是 没有 意义 的 , 事实 上 , F+ 下 =F。 所 以 , 在 集合 论 中 用 + 或 -时 要 仔细 一 点 。 

@ ”数学 归纳 法 的 含义 请 参见 附录 A 的 A.4 节 。 
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A = (jE (1.4-8) 
?一 1 ?一 | 


这 个 关系 称 为 摩根 ( De Morgan ) 定律 , 这 是 由 英国 数学 家 摩根 (1806 -1871 ) 发 现 的 。 










NN 


，» 

















(al EUF (b) EF 
E 
F 
(d) E-—F (e) F 一 E (f)E@BF 


图 1.4-1 集合 运算 的 维 恩 图 


虽然 维 恩 图 使 集合 运算 的 结果 可 视 化 , 但 并 不 是 真正 地 证 明 这 些 结果 。 为 此 , 考虑 两 个 集 

合 相 等 的 数学 定义 : 如 果 集 合 中 的 所 有 元 素 都 在 集合 下 中 , 反 过 来 也 是 一 样 , 则 称 五 和 下 
相等 , 或 等 价 地 描述 为 

EE=F 如 果 BCF 和 FcCE (1.4-9) 


例 1.4-7 (证 明 集合 相等 ) 如 果 要 严格 地 证 明 两 个 集合 相等 如 式 (1.4-4) 的 下 =FEU 
FB“, 那么 证 明 过程 如 下 : 首先 证 明 CFEUFE*, 然后 证 明 FDFEUFE"。 为 了 要 证 明 FCFE 
UFE*, 考虑 任意 元 素 ee 下 ,那么 ,对 于 任意 的 忆 , 5 也 肯定 在 FB 中 或 者 在 FE 中 ,这样 ,《 
肯定 在 FBUFE* 中 ,这 就 证 明了 CFEUFE 。 另 一 方面 , 要 证 明 玉 DFEUFE", 我 们 必须 从 
任意 元 素 LeFEUFE" 开始 , 它 肯 定 属于 FE 或 FE 中 ,所 以 , 肯定 属于 下 中 ,这 就 证 明了 
DFEUFE*。 由 于 证 明了 两 个 集合 互 为 包含 ,我 们 可 以 写成 收 =FEUFE"， 即 两 个 集合 是 相 
等 的 。 

利用 这 样 的 方法 , 可 以 证 明 下 列 集合 论 中 有 用 的 定律 : 


1. 并 的 结合 
AU(BUC)= (AUB)UC 
2. 交 的 结合 律 
A(BC)= (4B)C 
3. 并 的 分 配 率 


AU(BC)= (AUB)(AUCOC) 
4. 交 的 分 配 率 
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A(BUC)= (4B)U(4C) 

我 们 将 使 用 这 些 恒等式 或 定律 来 分 析 下 面 的 集合 等 式 。 然 而 , 这 四 个 定律 必须 先 证 明 。 
这 里 , 作为 一 个 例子 , 我 们 给 出 定律 1 的 证 明 。 

例 1.4-8 (并 的 结合 律 的 证 明 ) 我 们 希望 证 明 AU(BUC) =(AUB)UC。 为 此 ,必须 证 明 
AU(BUC)C(AUB)UC 和 AU(BUC)2(A4UB)UC, 先 从 前 者 开始 , 假定 ZeAU(BUOC)， 
那么 可 以 得 出 在 A 中 或 者 在 BUC 中 , 但 是 另 一 方面 ,Y 在 A 中 或 在 B 中 或 在 C 中, 所 以 
肯定 在 AUB 中 或 C 中 ,这 也 等 于 在 说 Le(AUB)UC。 为 了 完成 证 明 , 我 们 走 另 一 条 
路 ,从 Ye(AUB)UC 开始, 那 c 肯定 也 是 AU(BUC) 的 元 素 , 这 一 部 分 留 给 学 生 自己 进 
行 证 明 。 

o 域 考虑 一 个 全 集 2 和 .2 的 子 集 构成 的 集合 复 , 令 思 和 下 是 这 个 集合 簇 中 的 任意 两 个 
子 集 ， 如 果 

(1)$e.H, Dem 

(2) 如 果 Ee. 妈 和 FeNM, 那么 BUFe_NM 和 EFe_N2, 

(3) 如 果 Ee.N, 则 Be._NM。 


那么 这 个 集合 艇 形成 了 一 个 域 .2。 

我 们 需要 考虑 集合 的 域 (概率 论 中 事件 的 域 ), 以便 避 免 某 些 问题 。 如 果 事 件 的 集合 簇 并 
不 是 一 个 域 , 那么 可 以 为 某 些 事件 定义 一 个 概率 , 但 不 能 为 它们 的 补 集 定义 。 即 不 能 为 没有 发 
生 的 那些 事件 定义 概率 ! 类 似 地 , 我 们 需要 考虑 两 个 事件 的 并 的 概率 , 即 两 个 事件 的 一 个 或 两 
个 发 生 的 概率 。 因 此 , 对 于 概率 论 来 说 , 需要 对 域 中 的 所 有 事件 赋予 一 个 概率 。 

我 们 常常 要 考虑 实验 结果 和 事件 的 无 穷 集 , 在 这 种 情况 下 ,必须 扩展 域 的 定义 , 一 个 o 
域 2 .9 也 是 一 个 域 , 它 在 任何 可 数 的 并 、 交 和 补 都 是 闭 的 。 因 此 , 如 果 百 ，…, B,,… 属 于 
那么 


也 属于 .ZF 其 中 这 两 项 简单 定义 为 
5; 全 {所 有 处 于 至 少 一 个 的 那些 元 素 的 集合 } 


=]1 


门 全 {处 于 每 个 5 的 那些 元 素 的 集合 } 
t=1 
注意 , 在 没有 特定 定义 的 情况 下 , 并 和 交 的 这 两 个 无 穷 的 运算 是 没有 意义 的 。 不 像 无 穷 求 和 是 
由 数 的 极限 来 定义 的 ,对 集合 没有 这 样 的 极限 运算 , 因此 需要 给 出 一 个 定义 。 
事件 “考虑 一 个 样本 空间 为 2 的 概率 实验 , 如 果 2 有 可 数 个 元 素 , 那么 , 2 的 每 一 个 子 集 
都 可 用 一 种 与 下 一 节 给 出 的 公理 一 致 的 方式 赋予 一 个 概率 , 然后 , 所 有 子 集 的 类 将 组 成 一 个 域 
或 者 o 域 , 因为 每 一 个 子 集 都 包括 了 。.2 的 所 有 子 集 的 集合 徐 称 为 最 大 的 o 域 。 





@ 从 这 里 由 数学 归纳 法 可 以 得 出 , 如 果 Bi,…, B 属于 .6, 那么 U?_1Bi e . 必 和 mi1Bi es -AN。 
@@ 有 时 也 叫 o 代数 。 
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虽然 有 时 我 们 并 没有 足够 的 概率 信息 为 每 一 个 子 集 赋予 一 个 概率 , 在 这 种 情况 下 , 我 们 需 
要 定义 事件 的 一 个 小 一 点 的 域 , 这 个 域 仍 然 是 e 域 , 但 它 是 一 个 较 小 的 域 , 在 下 面 的 例子 中 我 
们 讨论 这 一 方法 。 在 极限 情况 下 , 如 果 没 有 足够 的 概率 信息 , 那么 就 必须 用 事件 的 最 小 er 域 
来 满足 我 们 的 要 求 , 这 里 的 事件 是 由 零 事 件 $ 和 必然 事件 2 组成, 而 这 两 个 事件 的 集合 簇 是 
没有 什么 用 处 的 er 域 。 

例 1.4-9 (由 两 个 事件 生成 的 域 ) 假 定 在 任意 样本 空间 2 只 对 两 个 事件 A 和 B 感 兴趣 ,我 
们 希望 包含 这 两 个 事件 的 最 小 域 。 可 以 这 样 进行 , 首先 产生 一 个 样本 空间 的 互 斥 的 分 解 

Q=Q(AU A)(BUB') 
= ABU AB°U A°BU A°B° 

然后 从 这 四 个 基本 的 互 斥 事 件 ( 没 有 重合 ) 生 成 一 个 事件 化 如 下 : 首先 ,四 个 事件 是 AB, AB”， 
AB 和 AB", 然后 加 上 这 些 互 斥 事件 的 两 个 一 组 的 并 集 : ABUAB*, ABUAB 和 ABUA°B”, 
最 后 再 加 上 这 四 个 互 斥 事 件 的 三 个 一 组 的 并 集 , 那么 , 由 于 四 个 基本 互 斥 事 件 的 每 一 个 可 能 包 
含 或 没有 包含 在 事件 中 ,总 的 事件 数 是 2 x2 x2 x2 =2* =16。 

这 个 事件 徐 保 证 是 一 个 域 , 因为 我 们 是 从 来 自 于 四 个 互 斥 事件 的 16 个 事件 构成 的 。 这 样 
也 保证 了 补 集 也 是 在 集合 徐 中 , 这 是 通过 (2=ABUAB'UA BUA°B* 来 保证 的 。 并 在 集合 敌 
中 也 是 很 平常 的 ， 因 为 在 集合 徐 中 的 所 有 事件 都 是 由 四 个 基本 互 斥 事件 构成 的 ， 补 集 刚 好 是 剩 
余 的 事件 , 如 (ABUAB")" =A“BUA*B" 被 认为 是 在 集合 秘 中 。 因 此 我 们 有 一 个 域 , 事实 上 这 是 
一 个 最 小 的 域 , 它 只 包含 A 和 B, 称 为 由 A 和 BB 产生 的 域 。 你 能 证 明 事件 A 也 在 这 个 域 中 吗 ? 

当 0 不 是 可 数 的 , 例如 ， 当 .QQ=R = 实数 直线 (real line), 近代 数学 (测度 论 ) 发 现 , 并 非 
人 2 的 每 一 个 子 集 都 能 以 一 致 的 方式 赋予 概率 (可 测 的 ), 所 以 我 们 必须 用 整个 事件 2 的 子 集 的 
较 小 一 点 的 集合 簇 来 满足 我 们 的 要 求 , 这 个 较 小 的 集合 簇 形成 了 o 域 。 例 如 , 在 实数 直线 R 
上 , 我 们 能 够 从 所 有 的 开 或 闭 区 间 产 生 一 个 o 域 , 称 为 实数 直线 上 事件 的 博 雷 尔 ( Borel) 域 。 
实际 上 , 实数 直线 上 的 博 雷 尔 域 包括 了 所 有 感 兴趣 的 工程 和 科学 中 的 所 有 子 集中 。 

到 目前 为 止 , 我 们 已 经 有 了 概率 的 公理 化 理论 所 要 求 的 三 个 目标 中 的 两 个 , 这 两 个 称 为 实 
验 结果 * 的 样本 空间 和 定义 在 样本 空间 0 上 事件 的 o 域 . 史 我 们 还 需要 一 个 概率 测度 书 , 三 个 
目标 (0Q, .和 % 了) 形成 了 三 元 组 , 称 为 概率 空间 儿 它 构 造 了 我 们 的 数学 模型 。 然 而 , 概率 测度 
P 必须 满足 由 科 尔 英 戈 罗 夫 提出 的 下 面 三 个 公理 。 


1.5 概率 的 公理 化 定义 


概率 是 一 个 集合 函数 PL . ] , 它 对 每 个 事件 恕 e .指定 一 个 数 PLE], 这 个 数 称 为 事件 五 
的 概率 , 它 满足 三 个 条 件 : 


(1) PLE]=0。 (1.5-1) 
(2) PLQ] =16 (LB 
(3) PIEUF] =P[LE] +P[LF] 如 果 EF = 四。 (1.5-3) 





”对 于 二 维 欧 几 里 得 样本 空间 , 事件 的 博 雷 尔 域 是 R' xR = R? 的 子 集 , 对 于 三 维 样本 空间 , 博 雷 尔 域 应 是 R' xR' x R! = 
及 的 子 集 。 
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概率 测度 不 像 一 个 普通 函数 , 它 并 不 是 对 一 个 变量 而 是 对 一 个 集合 指定 一 个 数 , 即 它 是 集 
合 的 测度 , 这 是 事件 的 数学 模型 。 由 于 这 是 一 个 特殊 函数 , 为 了 区 分 它 , 我 们 总 是 对 它 的 自 变 
量 使 用 方 括号 , 这 里 自 变量 是 在 样本 空间 2 中 的 实验 结果 * 的 集合 。 

上 面 三 个 公理 足以 建立 下 列 基本 结论 2, 除了 一 个 结论 , 其 他 留 给 读者 作为 习题 。 令 吾 和 
是 包含 在 .中 的 事件 , 那么 


(4) PL¢$] =0。 (1.5-4) 
(5) PLEF*] =PLE] -=-P[BP]。 (1.5-5) 
(6) PL[E|] =1 =PLE’|。 (1.5-6) 
(7) PL[LEUF] =P[LE] +P[F] -PLEF]|, (1.5-7) 
由 公理 3, 用 数学 归纳 法 可 以 证 明 如 下 关系 : 
P Ua = 》 PIB] 如果 BB; = 9 对 所 有 i 关 j (1.5-8) 
Y4 一 1 t=1 





根据 这 个 结果 和 式 (1.5-7) , 我 们 能 够 证 明 P[ U?.,8,] < 吏 ”,P[E,]。 这 个 结果 有 时 也 
称 为 并 的 边界 ,常常 用 在 数字 通信 理论 中 提供 误差 概率 的 上 限 。 
例 1.5-1 (两 事件 并 的 概率 ) 我 们 按 结论 7 进行 证 明 。 首 先 将 事件 万 U 忆 分 解 为 三 个 互 扩 


事件 9 
EUF= EF°UE°FUEF 


由 公理 3 
PIEUF]= PIEF°UE°F|+ PIEF] 
= PIEF“] + PLE“F] 二 PIEF], 再 由 公理 3 
= P[E]— PIEF] + PIF]— PIEF] + PIERF] 
= PIE|+ PIF] = PIEF] 
我 们 可 以 将 这 一 结论 应 用 到 下 面 的 问题 中 。 
在 某 个 面包 店 中 , 两 个 感 兴趣 的 事件 是 WA | 提供 白面 包 | 和民 RA | 提供 黑 麦 面包 | , 根据 
以 往 经 验 , 取 P[W] =0.8 , P[R] =0.7, 我 们 也 知道 两 种 面包 同时 提供 的 概率 为 0.6， 即 
P[ WR] =0.6, 两 种 面包 至 少 有 一 种 提供 的 概率 是 多 少 ? 即 P[WURR] 是 多 少 呢 ?由 结论 7 得 
到 的 答案 为 


(1.5-9) 


PIW U R| = PI[W] + PIR] = PIWR) 
=0.8+0.7—0.6 
=0.9 
我 们 为 一 个 术语 暂停 一 下 ， 当 实验 结果 是 忆 中 的 元 素 时 , 就 说 事件 巨 发 生 了 ,所 以 ， 
“PLE]" 读 成 为 事件 马 发 生 的 概率 。 
事件 的 测度 , 而 非 实 验 结果 的 测度 ”读者 可 能 注意 到 我 们 谈论 的 是 事件 的 概率 而 不 是 实验 





@ 第 四 个 公理 : 对 于 所 有 ij, EiEj =, 则 P[ U18;] = 了 ，_,PLE;], 如 果 按 严格 处 理 极限 和 可 数 并 , 必须 包括 这 一 公 
理 , 这 里 我 们 暂且 不 涉及 它 , 后 面 的 章节 再 介绍 。 
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结果 的 概率 , 对 于 有 限 和 可 数 的 样本 空间 , 我 们 谈论 的 刚好 是 实验 结果 的 概率 , 然而 不 这 样 做 的 
原因 有 几 个 , 其 一 是 即使 谈论 实验 结果 的 概率 , 我 们 也 仍然 需要 事件 的 概率 , 这 样 就 需要 两 种 类 
型 的 概率 测度 , 一 个 为 实验 结果 , 一 个 为 事件 ; 其 二 ， 有 时 我 们 只 知道 某 些 事件 的 概率 ， 而 并 不 
清楚 对 每 个 实验 结果 赋 概 率 值 的 细节 ; 最 后 , 也 是 最 重要 的 是 , 对 于 连续 的 样本 空间 , 实验 结果 
是 不 可 数 的 , 例如 , 在 实数 区 间 [0, 5] 中 的 点 , 它们 具有 零 概率 ,因此 , 基于 实验 结果 的 概率 的 
理论 是 没有 用 的 , 所 以 , 我 们 采用 事件 的 概率 测度 , 而 不 是 采用 实验 结果 的 概率 测度 。 

例 1.5-2 (投考 硬币 一 次 ) 实验 由 投 孝 硬币 一 次 组 成 ,实验 结果 是 吾 和 了 ,样本 空间 为 

0Q= {H,T} 
事件 的 er 域 由 下 列 集合 构成 : | 于 | ，|T} , (2, 中 , 假定 硬币 是 均匀 的 , 则 9 
PH{H}H= PHTH=3, PQ=1, PI¢]=0 

例 1.5-3 ( 投 毛 明 子 一 次 ) 实 验 由 投 毛 明 子 一 次 组 成 , 实验 结果 是 点 数 儿 =1,…, 6, 样本 

空间 为 Q=|1, 2, 3, 4, 5, 6| 事件 域 由 2" 个 事件 组 成 , 每 个 事件 包含 或 没有 包含 实验 结果 1， 


某 些 事件 是 
$,02, {1}, {1, 2}, {1,2,3}, {1,4,6} 和 {1,2,4,5} 


我 们 为 每 个 基本 事件 或 单一 事件 17 赋予 一 个 概率 

P= = 
所 有 概率 就 可 以 依据 基本 公理 和 对 基本 事件 假定 的 概率 进行 计算 。 例 如 , 假定 A=|11|,B= 
12, 3|, 则 P[A] = 主 ; 又 由 于 AB = 四, 所以, PTAUB] =P[A] +P[B]; 此 外 , P[B] = 


P[121 +131] = 名， 所 以 
PIAUB]=$+3 = 
例 1.5-4 (从 饶 中 选择 球 ) 假 定 从 一 个 盛 有 12 个 球 的 包子 中 随机 捡 出 一 个 球 ， 每 个 球 分 
别 标 有 数字 1 ~12，, 实验 结果 理想 化 为 数 Z=1 到 12, 样本 空间 为 
Q= {1,.…,12} 

令 下 列 事件 被 指定 : 

A®=|1,…, 6|,， B=|3, ,9| 

AUB= {1,...,9}, AB = {3,4,5, 6}, AB° = {1,2} 

B° = {1,2,10,11;12}, A° = {7,.…,12}, A°B° = {10, 11, 12} 

(AB)° = {1,2,7, 8, 9, 10, 11, 12} 


因此 
PIA] = PI{1}] + PH 二 二 PH 
PIB] = PI{3)] + …+ PI{9)] 
PIAB] = PI{3}] +…+ PH6]] 
如 果 P[ |11] =…=P[1121] = 十 , 则 P[A] = 二 , PLB] = 否 , PLAB] = 入 ,等 等 





@ 记 住 , 实验 结果 (outcome)¢ 是 我 们 实验 的 输出 (output) 或 结果 (result) 。 
@ 当 我 们 从 钒 中 取出 的 球 为 1 ~6 时 , 我 们 说 事件 4 发 生 。 
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我 们 要 指出 的 是 概率 论 也 可 以 从 稍微 不 同 
的 公理 集 [1 ~7] 建 立 起 来 , 然而 , 无 论 采 用 什么 
公理 , 无 论 建 立 什么 样 的 理论 , 都 必须 把 概率 的 
经 验 概念 用 相对 频率 来 建 模 ， 因 为 它 在 解决 实 
际 问题 时 是 很 有 用 的 。 

事件 并 的 概率 ”将 式 (1.5-7) 扩 展 到 三 个 事 
件 的 情况 是 相当 简单 的 , 但 有 点 元 长 乏味 。 我 
们 考虑 三 个 事件 , ,, Es, 希望 计算 这 三 个 事 
件 至 少 有 一 个 发 生 的 概率 P[ Ui_1B,]。 由 维 恩 
图 1.5-1, 我 们 看 到 在 U?_18; 中 的 7 个 互 斥 的 区 
域 , 记 为 A;, i =1, …,7, 可 以 采用 例 1.4-9 同样 
的 方法 证 明 。 由 公理 3 可 得 ， Bl UsLE,] = 
PL UziAi] es 

根据 原始 的 事件 , 7 个 互 斥 的 区 域 可 以 标识 为 

Al = EESES = Ei(E2U Ea)° 





图 1.5-1 将 U5_1E, 划分 为 七 个 
互 斥 的 区 域 A, ,… ,A 


Az = BiB2 Bs 
As = EtE2 Bs = E(BiU Es)° 
A 二 及 本 Bs 
As = Ei1ESEs 
A6 = EE Es 


A7 = E¢ES Es = Es(E1U Po2)° 
概率 PLA;](i = 1,…, 7) 的 计算 由 式 (1.5-5) 和 式 (1.5-7) 得 出 , 因此 , 可 以 计算 得 出 
PIA1] = P[E1] -= PIB Bo U Bi Bal 
= P[Ei] ~ {PIE E2] + P[EiEs] — PIE1 BE2 Esl} 
上 式 的 第 一 行 用 式 (1.5-5) 得 到 , 而 第 二 行 由 式 (1.5-7) 得 到 。 而 PLA;] (i = 3, 7) 的 计算 与 
PL A |] 的 计算 类 似 , 采用 相同 的 步骤 , 得 
PIAa] = PlE2] — {P[EiE2] + PlE2Es] — PIE1E2Esl} 
PIA7| = P[E3] - {PIE1E;] + PIE2Es] — P[E1E2Esl} 
而 PLAs], PLAs] 和 P[As] 的 计算 也 非常 类 似 , 其 中 要 应 用 式 (1.5-5), 于 是 
PIA2] = P[B1E2] — PIE1E2Esl 
PIAs] = P[EB1 Es] — PIE1E2E;] 
P[A6] = P[B2E3] — PLE E2 El 


最 后 





Pl[lAsa = PIE1E2BEsl 
回想 一 下 PE U3,] = 习 7 P[A,] , 我 们 只 需要 将 所 有 P[A;] 加 起 来 就 可 以 得 到 期 望 的 结 
果 , 由 此 可 得 
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P U | = 2 P[E;] — (PLEE) + PIEiE:] 十 P[E2Es]) +PIEiE2Es] (1.5-10) 


注意 , 这 个 结果 是 可 以 理解 , 因为 在 加 三 个 事件 的 测度 过 程 中 , 我 们 计数 了 双重 县 区 域 两 次 ， 
但 如 果 减 去 这 三 个 重 和 区 域 , 那 我 们 又 根本 没有 计数 BE,Bs， 所 以 还 必须 把 它 加 回来 。 如 果 
采用 符号 已 , A P[E,]， Pp, APLE.E,] 和 Px APLE,E,bE.|], 其 中 1<i%i<7<k<3, 重 写 
式 (1.5-10) 为 

3 3 

P|Ual -Pn- >》, Pz 二 >》, Pr 

t=1 和 1<i<j<3 1<i<j<k<3 
最 后 一 个 和 式 只 包含 一 项 , 称 为 Plss。 用 符号 S, 来 表示 每 个 和 式 , 其 中 4 表示 和 式 项 数 的 下 
标 , 那么 





3 3 
Us -ss+s 其 中 Si 会 》 PP, So A > PF; 和 
i=1 


l<i<j<3 

S3 全 >》， Pijk 

l<i<j<k<3 
为 什么 要 引入 一 个 新 的 符号 呢 ? 利用 符号 S,, 1 =1,…, 我 们 可 以 把 式 (1.5-10) 的 结果 扩展 到 
一 般 情 况 。 

定理 1.5-1 (n 个 事件 并 的 概率 ) 在 一 给 定 的 实验 中 ， 在 事件 媚 》 E,, er 万 ， 中 至 少 有 一 
个 事件 发 生 的 概率 忆 为 

P=51— S52++.…+ Sn 

其 中 ， 5 全 > i S. 全 2 pa “入 S, 全 > Lt dh ee land Mii 最 后 一 个 和 式 有 n A 
下 标 , 并 只 有 一 项 。 

这 个 定理 的 证 明 在 [1 ~8, p. 89] 中 给 出 , 也 可 以 用 数学 归纳 法 证 明 , 即 假定 P=S, -S,+ 
… +S, 是 正确 的 , 然后 只 要 证 明 对 于 n+1, P=S, -Ss+… 干 S, ,1 成 立 , 我 们 把 这 个 留 给 勇敢 
的 读者 去 证 明 。 


1.6 联合 概率 、 条 件 概率 、 全 概率 和 独立 性 


假定 我 们 进行 下 面 的 实验 : 在 美国 某 个 城市 , 希望 收集 该 城市 的 气象 数据 , 我 们 特别 对 三 
个 事件 感 兴趣 , 称 为 4, B 和 C, 其 中 

4 是 在 任意 特定 的 一 天 , 温度 等 于 或 超过 10 立 的 事件 。 

B 是 在 任意 特定 的 一 天 , 降雨 量 等 于 或 超过 5 mm 的 事件 。 

C 是 在 任意 特定 的 一 天 , 4 和 B 同时 出 现 的 事件 , 即 CAAB。 

由 于 C 是 一 个 事件 , 可 以 计算 P[C] = P[4B], 称 PLAB] 是 事件 4 和 B 的 联合 概率 , 很 
显然 , 这 一 表示 可 以 扩展 到 超过 两 个 事件 的 情形 , 如 PLEFG] 是 事件 E, 和 G0 的 联合 概率 。 





@ 瑟 , FF, G 是 定义 在 同一 个 概率 空间 上 的 三 个 事件 。 
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令 ng 表示 事件 发生 的 天 数 。 在 1000 天 内 (n = 1000), 得 到 下 面 的 观测 ,ns = 811， 
ng = 306, ?np = 283。 由 概率 的 相对 频率 来 解释 
PiA]w SE = 0811 
Nn 1000 


P[B] Ra = 0.306 
2 
P[AB] ~ 28 = 0.283 
Nn 


现在 考虑 一 下 比值 m4s/ra, 这 是 在 给 定 事件 4 发 生 的 条 件 下 事件 4B 发 生 的 相对 频率 , 应 用 
到 这 里 就 是 在 给 定 温度 等 于 或 超过 10 时 降水 量 等 于 或 超过 5 mm 的 时 间 比 值 , 因此 , 我 们 
处 理 的 是 在 另 一 个 事件 给 定 或 者 另 一 个 事件 已 经 发 生 的 条 件 下 事件 的 频率 。 注 意 : 

naAB naB/n PI[AB| 











na na/n PIA] (1.6-1) 
上 面 依据 经 验 的 概念 给 我 们 引入 了 条 件 概率 测度 。 
条 件 概率 ”条 件 概 率 PL BIA] 定 义 为 
PIB|A] 2 a 如 果 PP[A] >0 (1.6-2) 
读 成 “给 定 事件 4 已 经 发 生 的 条 件 下 事件 B 发 生 的 概率 ”。 类 似 地 , 我 们 有 
PIAIBI 人 之 千 |，。 如 果 PIB]>0 (1.63) 
定义 式 (1.6-2) 和 式 (1. 6-3) 能 够 用 来 计算 4B 的 联合 概率 ， 因 为 
PIAB|] = PIA|BIPIB] 
~ PIBIAIP[A) 
独立 性 
定义 (事件 的 独立 性 ) (i) 两 个 事件 Ae.F Be.FH 且 PLA] >0, PLB] >0, 当 且 仅 当 
PI[AB] = PIA]PIB| (1.6-4) 


时 ， 称 事件 4 和 已 是 独立 的 。 

一 般 来 说 , 由 于 P[4B] =P[BI4]P[4] =P[4IB]P[B]， 因 此， 对 于 独立 事件 ， 有 
PIAIB| = PIA] (1.6-5a) 
pL (1.6-5b) 

因此 ,这 一 定义 满足 了 我 们 的 直观 理解 ， 如果 A 和 电 是 独立 的 , 那么 理 的 实验 结果 对 A 的 条 
件 概率 没有 影响 ， 反 过 来 也 一 样 。 
(让) 有 三 个 定义 在 多 上 的 事件 4， 召 ，C, 并 且 具 有 非 零 概率 ， 当 且 仅 当 


PIABC] = PLjPLB]PIC] (1.6-6a) 
PLM4B] = P[A]PIB] (1.6-6b) 
PHC] = PL4PIC] (1.6-6c) 


PIBC| = PIB]PICI (1.6-6d) 
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称 它们 是 联合 独立 的 。 这 是 (i) 的 扩展 ， 对 多 个 事件 4 ，…， 4， 的 独立 性 的 定义 也 可 以 采用 类 
似 的 方法 。 注 意 , PLABC] =PLA1P[B]P[LC] 不 是 充分 条 件 , 两 两 独立 性 还 必须 证 明 。 
( 道 ) 令 Ai(i=1, …, n) 是 包含 在 .中 的 事件 ， 当 且 仅 当 
P[AiA;] = PLA;]P[Aj] 
PlAiA;Ax] = PLAi]PIA;]PIAR] 


P[A1::. An] = P[A1]P[A2]:…: PlA;] 
上 式 对 所 有 下 标的 组 合 1<i<j<k<… <n 都 成 立 , 那么 , 我 们 说 | A;| 是 联合 独立 。 

例 1.6-1 ( 肿 宝 ,Sic bo ) 朋 宝 是 一 种 赌场 玩 的 赌博 游戏 ， 玩 者 对 三 个 鹏 子 的 投 搬 的 结果 
下 注 , 不同 的 赌注 有 不 同 的 赔 率 ,， 下面 列 出 两 个 有 关 的 赔 率 : 

(1) 指定 三 同 号 (180 :1) ， 即 由 打赌 者 预先 指定 

(2) 没 有 指定 的 三 同 号 (30:1)， 即 任意 三 同 号 。 

从 打赌 者 的 观点 看 , 他 赢 的 概率 是 多 少 呢 ， 它 期 待 赢 取 的 又 是 多 少 呢 ? 

解 

(1) (指定 三 同 号 ) 令 求 表示 在 第 衬 次 投 搓 中 出 现 的 指定 的 实验 结果 ,那么 ， 三 个 号 BE,E， 
同时 出 现 的 概率 PL EE,Es] =PLE]PLE,]PLEs]=1/216, 这 里 利用 了 这 样 一 个 事实 ,三 个 事件 
是 独立 的 ， 因 为 它们 是 三 次 不 同 的 投手。 公平 的 赔 率 是 216 :1， 而 不 是 180 :1。 

(2)( 没 有 指定 的 三 同 号 ) 第 一 次 投掷 可 以 出 现任 意 数 字 ， 而 后 两 次 投手 必须 匹配 第 一 次 
投掷 的 数字 , 因此 , P[ 没有 指定 的 三 同 号 ] =1 x1/6 x1/6 =1/36, 因此 公平 的 赔 率 是 36:1, 而 
不 是 30:1。 

例 1.6-2 (检验 三 个 事件 的 独立 性 ) 一 个 锥 子 中 装 有 10 标 有 数字 的 黑色 球 ( 有 些 是 偶数 ， 
有 些 是 奇数 ) 和 20 个 标 有 数字 的 白色 球 ( 有 些 是 偶数 ， 有些 是 奇数 ), 在 每 一 种 颜色 的 球 中 , 有 
一 些 球 比 其 他 一 些 球 要 轻 , 钠 子 的 精确 分 解 如 图 1.6-1 所 示 。 实 验 结果 是 三 元 变量 L = (颜色 ， 
质量 , 数字 ), 样本 空间 人 是 所 有 这 些 三 元 变量 的 集合 。 每 次 抽取 是 完全 随机 的 。 











图 1.6-1 纺 子 的 分 解 图 


令 A 表 示 抽 到 一 个 黑 球 的 事件 , 表示 抽 到 一 个 轻 球 的 事件 , C 表示 抽 到 一 个 偶数 球 的 事 
件 , A, B,C 是 独立 的 吗 ? 
解 ” 我 们 首先 检验 是 否 P[ABC] =P[A]P[B]P[C], 由 于 有 1/3 的 球 是 黑色 的 ， 所 以 ， 
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P[4] =1/3。 又 由 树 图 可 以 看 出 , 球 的 15/30 是 轻 球 ， 所 以 P[B] =1/2, 球 的 12/30 是 偶数 ， 
所 以 PLIC] =2/5。 由 于 事件 ABC 是 黑色 、 轻 的 和 偶数 的 球 且 只 有 两 个 , 那么, P[4BC] = 
2/30。 而 P[4BC] =P[4]P[B]P[C] 直 接 相 乘 得 出 的 结果 也 是 2/30, 因此 ， 三 个 事件 通过 独 
立 性 的 这 一 部 分 的 测试 , 然而 , 对 于 独立 而 言 , 我 们 还 必须 有 P[AB] =P[A]P[B], P[4C] = 
P[4]P[C] 和 P[BC] =P[B]P[C], 注意 到 P[AC] =2/30, 而 P[4]P[C] =1/3 x12/30 = 
2/15 关 2/30, 因此 , A, B 和 C 不 是 联合 独立 的 。 


复合 事件 


我 们 经 常 需要 考虑 复合 实验 或 重复 试验 。 如 果 有 一 个 定义 在 每 一 个 实验 上 的 概率 空间 ， 
那么 就 会 明白 整体 的 或 复合 的 实验 是 什么 。 有 两 种 情况 需要 考虑 , 一 种 情况 就 是 对 物理 事实 
建 模 常 常 需 要 重复 实验 , 这 些 重 复 实验 看 起 来 是 相互 独立 的 ; 另 一 种 重要 的 情况 就 是 实验 结果 
似乎 依赖 于 早期 试验 的 结果 。 


独立 实验 ”考虑 两 个 独立 实验 , 也 就 是 说 一 个 实验 o 

结果 不 受 另 一 个 的 过 去 、 现 在 和 将 来 的 实验 结果 影响 。 弟 

令 每 个 实验 都 有 它 自己 的 样本 空间 Q、 实 验 结果 和 概 

率 测度 P。 特 别 是 我 们 有 江 
引 eB CQ 概率 测度 为 P， 和 
纪 eC 人 0 概率 测度 为 P 

如 图 1.6-2 所 示 。 

我 们 希望 能 够 与 复合 实验 联系 起 来 , 即 复合 实验 的 样本 空间 是 两 个 样本 空间 的 竺 卡 儿 积 ， 
QEQ x 
具有 向 量 的 实验 结果 (元 素 )5 = (&, ty) < 已 CO。 


例 1.6-3 ( 投 搓 两 枚 硬币 ) 假 定 有 两 个 实验 , 每 一 个 实验 是 由 投掷 一 枚 双 面 硬币 组 成 的 ， 
两 面 分 别 用 阳 和 T 表 示 , 那么 , 有 2 = |H, TH = 局， 在 复合 实验 中 , 有 人 = | (H, H)， 
(H, T}, (T, H), (TT, T)|, 我 们 也 正好 用 一 囊 字符 和 T 卫 而 不 是 向 量 写 出 实验 结果 Ye 0， 
用 这 样 的 表示 ， I HT, TH, TT| 。 在 第 一 个 实验 中 , 考虑 事件 百 = |T| , 在 第 
二 个 实验 中 ,= | 于 | ,， 那 么 ， 在 复合 实验 中 ， 有 事件 万 = 1TH| = 为 x CO 

当 用 互 积 表示 集合 时 , 我 们 有 

EixES{t= (t,t eB 和 to € Ea} 
所 以 ,在 两 个 集合 的 互 积 中 的 元 素 是 所 有 可 能 的 元 素 对 , 元 素 对 的 每 一 个 元 素来 自 于 每 一 个 
集合 。 

例 1.6-4 ( 投 拨 猴 子 2 次 ) 假 定 有 两 个 实验 ,每 一 个 实验 是 由 投 括 一 枚 朋 子 组 成 ,山子 有 
六 个 面 , 分 别 用 实验 结果 1 ~6 表示 ， 那么 le db A 6| pd 
把 两 个 样本 空间 的 互 积 的 一 一 对 元 素 作为 实验 结果 ， 即 2= |11, 12, …, 16, 21, …, 26，…， 
61, …, 66| = x(%,， 注意 ,所 有 事件 (2 的 子 集 ) 不 是 轧 , x 的 形式 , 事实 上 , 这 是 一 种 特 
殊 情 况 。 例 如 ,考虑 事件 |11, 12, 31| , 它 是 11, 3| x |1, 21 中 不 含 实验 结果 32 的 那个 事件 。 
然而 ， 可 以 把 这 个 事件 写成 集合 的 互 积 的 互 不 相交 的 集合 的 并 

{11, 12, 31} ={ {1} x{1, 2 UL3 xx 二 


图 1.6-2 两 个 复合 概率 实验 
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我 们 常常 对 物理 实验 中 那些 相互 独立 的 不 相交 的 模型 感 兴 趣 , 这 要 求 一 个 定义 。 因 此 , 对 
于 复合 事件 , 如 果 事 件 互 的 概率 能 够 根据 各 自 的 概率 测度 已 和 已 来 表示 , 那么 就 定义 这 两 个 
复合 事件 在 数学 上 是 独立 的 。 
定义 1.6-1 对 于 两 个 实验 ,， 如果: 
(i) 对 于 互 积 事件 媚 = 豆 x 楞 ,我 们 能 够 写成 
PIE] S Pi[Bi]PlE: 
(站 ) 在 复合 实验 中 ,一 般 事件 已 的 概率 能 够 根据 单一 事件 的 概率 来 表示 
P[ 可 全 》 PlCHBI{E2) 
(1,62)EE 
那么 ， 称 这 两 个 实验 是 独立 的 。 
我 们 可 以 把 这 个 概念 推广 到 nn 个 实验 的 组 合 , 得 到 的 复合 实验 的 样本 空间 为 
2s @o， 


一 421 XQ2 X03 XxX: x On 
向 量 (字符 串 ) 的 实验 结果 《= (如 ，…， 刀 ) < 五 CD, 人 2 是 复合 实验 的 样本 空间 。 

例 1.6-5 (三 个 实验 ) 考 虑 三 个 独立 的 实验 , 每 一 个 都 有 自己 的 样本 空间 02,, ?=1,2,3， 

令 玖 是 样本 空间 (2, 中 的 任意 事件 ,， 那么, 在 复合 实验 中 的 一 般 互 积 事件 的 概率 为 
PIEi x E2 x Es] = Pi[EiPlE2|PslEal 
其 中 , 事件 思 , 是 由 02; 中 的 可 测 的 子 集 的 并 和 交 组 成 。 

例 1.6-6 (重复 的 硬币 投 括 实验) 考虑 投 搓 一 枚 硬币 见 次 ,每 次 投掷 都 认为 是 一 个 随机 
的 、 独 立 的 实验 , 令 在 每 次 实验 中 单个 实验 结果 用 旦 和 表示 ,那么 在 复合 实验 中 的 实验 结 
果 是 由 卫 和 TT 组 成 、 长 度 为 nw 的 字符 囊 ,， 总 共有 2" 个 不 同 的 有 序 字 符 囊 。 字 符 囊 有 kK 日 和 
(2 一)T 的 概率 为 入 

Pl rs en) 一 LR} 


Nm ps 


其 中 D 和 qdAl-2D 是 单 次 硬币 投 搬出 现 吾 和 T 的 概率 , 且 0 达 D 三 1。 
我 们 也 可 以 根据 一 般 事件 而 不 单独 的 事件 来 表达 这 些 复合 概率 。 考 虑 两 个 复合 事件 ,， 概 


Zi eB C0 且 概率 测度 为 P ,te ,C2, 且 概率 测度 为 P， 
那么 , 复合 实验 由 下 列 概率 空间 组 成 : 
Ze 全 (如 )E 五 CO 且 概率 测度 为 P 
其 中 复合 概率 测度 为 已 , 它 是 为 事件 CQ 定义 的 , 其 定义 如 下 : 首先 ,必须 将 召 中 的 复合 事 
件 写成 来 自 两 个 实验 的 互 积 事件 的 互 不 相交 事件 的 并 集 ， 即 


k 
E= (J Eli X E2i 


i=1 
其 路 为 正 整 数 , B, ;和 刀 , ,分别 是 0Q, 和 (2 中 的 事件 , 最 简单 的 情况 是 如 自身 是 一 个 互 积 事 
件 , 即 =1, 但 是 , 正如 例 1. 6-4 所 看 到 的 那样 , 通常 必须 取 几 个 互 积 事件 的 并 来 表达 复合 空 
间 中 的 任意 事件 EB。 
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定义 1.6-2 ( 另 一 种 定义 ) 我 们 说 事件 是 独立 的 ， 指 的 是 对 于 复合 实验 中 的 任意 事件 也 ， 


天 k 
P[ 可 SS PIEdPE:], 其 中 B= ) Ex Ez 


i==1 如 = 于 
是 一 个 互 不 相交 事件 的 并 集 , | ;和 ;分别 是 (2 和 (2 中 的 事件 , 这 里 天 表达 复合 事件 吾 所 
必须 的 互 积 事件 数 。 
注意 ,由 于 事件 是 互 不 相交 的 ， 所 以 概率 的 相 加 性 是 适合 的 ,我 们 立即 看 到 这 个 定义 与 前 
面 根据 单一 事件 或 基本 事件 给 出 的 定义 是 一 臻 的。 只 要 取 思 | ;入 ;为 单一 事件 就 很 容易 看 
出 这 一 点 。 很 显然 , 这 一 更 为 通用 的 方法 也 可 以 扩展 到 n(n >2) 个 实验 的 情况 。 下 面 我 们 转 
到 更 为 复杂 的 多 个 独立 实验 的 情况 。 


非 独立 实验 "D? 考虑 两 个 “ 非 独 立 的 实验 ”"， 这 意 o, 
味 着 第 二 个 实验 的 概率 将 依赖 于 第 一 实验 发 生 的 事件 。 
假定 第 一 个 实验 由 实验 结果 如 ;,， (i = 1, 2, …, k) 组 
成 , 它们 的 概率 P,[ |Z1.;| ] 是 给 定 的 , 第 二 个 实验 的 概 。 信 


率 测度 肯定 与 来 自 于 第 一 个 实验 的 索引 i 有 关 ， 即 Pn 
Pi[E2], 对 每 个 事件 E2 C 022 ~ Pox 
其 中 (2 是 第 二 个 实验 的 样本 空间 ,如 图 1. 6-3 所 示 。 图 1.6-3 两 个 非 独立 复合 实验 


那么 , 我 们 就 能 写 出 复合 实验 的 概率 测度 如 下 所 述 。 

定义 1.6-3 ( 非 独 立 实 验 ) 令 轧 = | ;| 是 样本 空间 (2 中 第 宛 个 的 单一 事件 , ,是 (2 
中 的 事件 ,考虑 复合 实验 中 的 互 积 实 验 百 = 盏 xE。， 则 

PIE] $ Pl{¢1i) PilB2] 

其 中 第 二 个 实验 中 的 概率 测度 是 第 一 个 实验 的 实验 结果 的 函数 。 

首先 , 我 们 注意 到 这 个 定义 与 前 面 的 独立 实验 的 定义 是 一 致 的 , 这 是 因为 在 独立 事件 的 情 
况 下 , 所 有 的 已 ;是 相同 的 , 即 对 所 有 的 i 已 ; = 已。 

更 一 般 的 情况 , 令 第 一 个 实验 中 的 事件 是 已 = Ui1 和 4 i， 即 宇 个 基本 (单一 ) 事 件 的 并 ， 
那么 ， 复合 事件 EE=E， xE, 的 概率 可 写 为 

PIE] S$ > Pil{tiiHPilE,] 


这 里 的 相 加 是 因为 , 在 第 一 次 实验 中 , i 个 基本 事件 |Z1,;| 中 只 有 一 个 发 生 。 

例 1.6-7 ( 投 搓 有 偏差 的 硬币 ) 考 虑 三 枚 有 偏差 的 硬币 ， 我 们 以 概率 Di =Pi[ 1H| ] 投 搬 
第 一 枚 硬币 , 根据 实验 结果 是 再 还 是 了 T, 再 分 别 投 捕 第 二 枚 和 第 三 枚 硬币 。 假 定 第 二 枚 硬币 的 
概率 为 ps = 已 [| 了 | ] ， 第 三 枚 硬币 的 概率 为 ps =Ps[ |HI],， 当然, 在 这 里 假定 所 有 Pi 满足 
0 <p; <1。 那 么 , 对 于 ps 关 p3, 我 们 有 非 独立 实验 的 情况 。 例 如 , 计算 PIHTI, 我 们 得 到 
Di(1 -ps), 计算 PITH}, 可 得 到 (1 一 Pi)ps， 以 此 类 推 。 

例 1.6-8 (以 事件 为 条 件 的 概率 ) 考虑 今天 的 天 气 分 别 为 晴天 、 阴 天 和 雨天 , 概率 分 别 
为 Di 。，Di, 。 和 Di，， 三 个 概率 之 和 为 1, 那么 明天 天 气 也 可 能 是 晴天 、 阴 天 和 雨天 ,这 可 能 依 





@ 标 有 星 号 ( * ) 的 材料 在 第 一 次 阅读 时 可 以 略 去 。 
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赖 于 今天 的 天 气 ， 所 以 ， 明 天 天 气 的 条 件 概率 依赖 于 三 个 条 件 事件 ， 对 每 一 个 条 件 事件 都 有 一 
个 不 同 的 测度 ,这样 ， 对 于 第 2 天 ,我们 就 有 一 个 由 三 个 条 件 概率 测度 组 成 的 集合 ,对 第 1 天 
的 每 一 个 条 件 都 有 一 个 条 件 概率 测度 。 


与 条 件 概 率 的 关系 ”考虑 一 个 复合 实验 (0, 匈 已 ), 它 是 由 两 个 复合 实验 (02, . 务 , Pi ) 和 

(2, 哆 , P,) 组 成 , 这 两 个 复合 实验 是 相互 独立 的 , 所 以 , 对 于 任意 互 积 事件 xB,e 三 有 
PIE1 x Ez2| = PilBilPlE2] 
其 中 如 e 秀和; e 色 。 我 们 可 以 认为 第 一 个 实验 是 在 第 二 个 实验 之 前 发 生 。 令 条 件 事 件 
BeF 具 有 B=B, x(2 的 形式 , 其 中 Be. 色 , 那么 PLB] = 已 [B] 1。 类似 地 , 令 4E 罗 具 
有 A=02 xA,, 其 中 4 es 宛 , 那么 PLA] =1.:P[Ah,]。 于 是 , 我 们 求 得 条 件 概率 为 
P[AB|] 
P[B] 
区 PI(Q1 x A2) N (Bi x 22)] 
已 [了 1] 
P[B1 x 4?] 

PilB!1] 
_ Pi[B1P2[42] 

Pi[Bi] 
= PlAo] 





PHIB] = 





其 中 注意 到 
(Q1 x A2) N (Bi1 x Q2) = {(61,62) 62 € A2} N {(b1,62)0 € Bi1} 
= Bi x A» 
对 于 两 个 独立 的 实验 来 说 , 这 是 我 们 期 待 的 结果 , 但 是 , 对 于 两 个 非 独立 的 实验 又 会 是 什 
么 结果 呢 ? 
“ 例 1.6-9 ( 非 独立 的 情况 ) 考 虑 如 上 例 的 复合 实验 , 即 忆 =Bl x(% 和 有 A= 人 2 XxAhs, 但 现 
在 假定 这 些 实验 不 是 独立 的 , 假定 在 第 一 个 实验 中 的 实验 结果 是 一 个 有 限 数 k， 写 出 第 二 个 实 
验 的 概率 测度 ,这 个 测度 是 以 第 一 个 实验 的 实验 结果 作为 函数 的 ， 即 对 于 每 一 个 实验 结果 61， 
e(21 ,Y=1,…, kk, 写 出 P, ;的 表达 式 。 再 假定 Bi = | ;| , 那么, 继续 前 一 个 例子 ， 有 
P[(Q1 x A2) N (B1 x 22)] 
PlBil] 
A! [Bi]P2i[As] 
Pi[B1|] 
= Pi[A2] 





PIA|B] = 





这 是 我 们 所 期 待 的 。 

例 1.6-10 (通信 信道 与 信 源 ) 在 二 元 通信 系统 中 , 我 们 有 一 个 二 元 信 源 8 与 二 元 信道 C 
(如 图 1.6 -4 所 示 )，, 图 中 的 标注 是 根据 条 件 概率 标注 的 。 这 个 组 合 实验 的 样本 空间 人 2 为 (2= 
I=(x,y):%= 和 y=0 或 1| =|(0,0), (0,1), (1,0), (1, 1)|, 其 中 ,Y 表 示 信 源 的 输 
出 ， 它 也 是 信道 的 输入 , Y 表示 信道 的 输出 。 那 么 ,联合 概率 函数 为 P[ | (x,y )|] =Ps[ 1x|] 
Pc[ iyi1izi],w,y =0,1, 其 中 Ps 是 信 源 S 的 概率 测度 ,Po 是 信道 C 的 条 件 概 率 测 度 。 


第 1 章 概率 论 导论 21 


由 于 有 嗓 声 , 发 射 0 有 时 也 有 可 能 解码 后 被 接收 为 1, 反之 亦 然 。 重 复 使 用 信道 , 得 
Pc[l{0}H{0H = 0.9， Pcl{1}l{0H = 0.1 
Pcl{o}{1}H = 0.1, Pol{1}{1}H = 0.9 
而 设计 信 源 概率 使 得 Ps[ 10| ] =Ps[ |1| ] =0.59, 那么 , 在 联合 实验 中 单个 事件 的 不 同 概率 为 
PI{(0,0)H = Pcl{O}H{OHPsl{0} = 0.45 
Pl{(0, D)H = Pcl{1}{0HPs[{0} = 0.05 
Pl{(1,0)H = Pel{oO}H{1HPs[{1} = 0.05 
PI[{(1,1)H = Pel{1}H{1HPs[{1} = 0.45 
我 们 也 可 以 在 复合 或 组 合 空间 上 定义 一 些 事件 。 
Xo。A“X =0 那个 事件 ” 和 A“Xx=1 那个 事件 ” 
YA“y = 0 那个 事件 ”和 了 A4“y = 1 那个 事件 ” 
重 写 以 上 的 信道 条 件 概率 为 
PlYolXo]l=0.9 和 PlYi|Xo]=0.1 
PIWIXi]=01 和 PIYiIXi] =0.9 
那么 信 源 概率 就 可 以 表示 为 
PIXol=05 和 PIXi]=0.5 
在 组 合 实验 中 ,以 上 的 联合 概率 就 变 成 了 
P[Xo U Yo] = PIYo|Xo]P[Xo] = 0.45 
P[Xo UYi] = P[Yi|Xo] PIXo] = 0.05 
P[IX1U Yo] = P[YolX1]PIX1] = 0.05 
P[X1 UY] = PIYi|X1]PLXo0] = 0.45 


二 元 信道 
图 1.6-4 二 元 通信 系统 
条 件 概率 的 引入 出 现 了 一 个 重要 问题 , 那 就 是 条 件 概率 是 否 满足 公理 化 定理 1 ~3, 换 句 

话说 , 给 定 任意 两 个 事件 五 , F, 且 EF = 小 , 以 及 任意 的 第 三 个 事件 4, 日 PLA] >0, 它们 都 属 
于 概率 空间 (0Q, .了 P) 中 事件 了 的 o 域 , 下 列 关 系 是 否 满 足 ? 

PIE|A] = 0? 

P[IQ|A] = 1? 

P[IEUF|A] = PIE|A] + PIF|A4], EF=0? 





”设计 一 个 0 和 1 出 现 的 速率 相同 的 编码 是 一 个 很 好 的 练习 , 因为 这 可 以 使 信道 容量 得 到 最 大 的 利用 。 
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答案 是 肯定 的 , 详细 的 证 明 留 给 读者 作为 习题 。 它 们 直接 根据 条 件 概 率 的 定义 及 三 个 科 尔 莫 
区 罗 夫 公理 得 出 。 
例 1.6-11 (概率 树 ) 三 个 事件 A, BB 和 CC 通常 根据 下 列 条 件 概 率 来 描述 : 

P[A], PILEBI4,PLBI45 和 

PICclB4], PIC|BA®], PIC|B°A], PIClBe4?] 
这 种 情况 可 以 用 图 1.6-5 所 示 的 树 图 来 概括 。 其 中 的 分 支 用 相关 的 条 件 概率 来 标注 ,节点 值 是 
对 应 的 联合 概率 。 根 节点 可 以 看 成 1.0 的 值 , 它 与 必然 事件 2 相 联系 ， 如 果 我 们 要 计算 在 树 
叶 上 事件 的 概率 (节点 的 最 后 事件 ) ， 只 需要 乘 以 路 径 上 的 条 件 概 率 。 


P[CB4] 


P[C'B4A] 
P[CB'4] 
P[IC'B4] 
P[CB49] 
PTC28 的 ] 


P[CB49 





P[C'B‘A"] 
图 1.6-5 分 支 上 标 有 条 件 概率 、 节 点 标 有 联合 概率 的 概率 树 图 


一 种 可 能 的 方式 是 ， 如果 事件 来 自 于 顺序 执行 的 复合 实验 ,， 即 事件 妃 依 赖 于 事件 A, 事件 C 
依赖 事件 4 和 BB。 更 一 般 的 树 是 在 每 个 节点 有 两 个 以 上 的 分 支 ， 如 Al，, As,…，An。 条 件 概 
率 可 以 数据 结构 的 形式 存储 在 机 器 中 , 联合 概率 的 计算 问题 通过 查询 就 可 以 得 到 ,如 联合 事件 
Cl,B,4, 的 概率 可 以 通过 追踪 存储 在 数据 结构 中 的 路 径 、 然 后 乘 以 对 应 分 支 上 的 值 即 可 得 到 。 
例如 ， 第 一 轮 事件 A 来 表示 从 当地 苗 团 购买 的 植物 的 健康 状态 (好 , 一般， 差 ), 然后 电表 示 
一 星期 后 的 健康 状态 ,Ci 表示 两 周 后 的 健康 状态 。 


下 一 个 例子 用 来 说 明 联 合 概率 和 条 件 概率 的 应 用 , 这 个 例子 在 现实 生活 中 有 广泛 的 应 用 ， 
比如 在 不 知道 任何 事实 的 情况 下 要 做 出 重要 的 决定 。 

例 1.6-12 (选美 比赛 了 ) 假 定 选美 比赛 由 下 列 规则 进行 评判 : (1) 及 个 竞选 者 , 选美 前 
评委 是 没有 见 过 的 。(2) 竞选 者 以 随机 的 顺序 单独 展示 在 评委 面前 ， 在 任何 时 候 只 有 一 名 竞选 
者 出 现在 评委 的 面前 。(3) 评 委 必须 对 出 现 面前 的 竞选 者 是 否 是 最 美的 要 现场 做 出 决定 。 如 
果 评 委 们 做 出 了 肯定 的 评定 , 那么 选美 就 结束 了 , 那么 风险 是 仍 有 更 漂亮 的 竞选 者 没有 展示 出 
来 。 这 样 的 话 , 评委 就 做 出 了 错误 的 评判 。 换 和 名 话说 ,如果 评委 忽略 了 候选 者 ,那么 这 个 竞选 
者 也 就 取消 了 进一步 考虑 的 资格 ,即使 随后 所 有 的 竞选 者 一 点 也 不 美 。 在 这 样 的 随机 选择 中 ， 
什么 样 的 策略 才能 提高 选 到 最 美 竞选 者 的 概率 ? 





四 感谢 Geof Williamson 和 Jerry Tiemann 对 这 个 问题 有 价值 的 讨论 。 
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解 ”为 使 问题 更 好 地 进行 定量 分 析 , 假定 每 个 竞选 者 的 优点 都 用 一 个 单一 的 “ 美 ” 的 数字 
来 总 结 ， 那 么 ,最 美的 竞选 者 就 与 最 大 的 数字 联系 起 来 ， 最 不 美的 就 是 最 小 的 数字 。 我 们 对 数 
字 出 现 的 分 布 不 做 任何 假定 。 将 数字 放 在 一 个 包 里 , 评委 是 看 不 到 的 , 数字 一 个 一 个 地 从 包 里 
抽出 。 这 样 ,就 把 问题 看 成 从 包 里 随机 地 抽出 一 个 “ 美 ” 数 字 , 可 以 认为 抽取 是 沿 着 线 的 顺序 
进行 的 ， 如 图 1.6-6 所 示 。 第 一 次 抽取 是 数 1, 第 二 次 是 2, 以 此 类 推 , 每 一 次 抽取 ,都 有 一 个 
“ 美 ”" 数 字 出 现 , 在 所 有 N 次 抽取 中 哪 一 个 最 大 ? 

假定 下 面 采 用 “等 等 再 看 ”( wait-and-see) 的 策略 , 我 们 忽略 前 有 次 抽取 ( 即 拒绝 了 前 个 
竞选 者 ) , 但 记录 这 一 组 抽取 的 最 大 的 “ 美 "数字 。 然 后 继续 抽取 一 个 数字 ( 即 叫 下 一 个 竞选 者 
出 来 ) 。 在 忽略 前 左 次 抽取 后 的 抽取 中 , 第 一 个 超过 前 有 次 中 的 最 大 “ 美 " 数 字 的 竞选 者 便 是 获 
胜 者 ,如 果 没 有 更 大 的 数字 出 现 ,那么 评委 拒绝 投票 ,我 们 把 这 记 为 一 个 错误 。 


CR 判决 范围 和 


1 2 = 2 9。 XxX—1 x +***» AMN 抽取 序号 n 





最 高 数位 置 
图 1.6-6 沿 轴 方 向 的 数字 表示 抽取 的 顺序 , 并 非 从 包 里 实际 抽取 的 数字 


令 百 (H) 表 示 前 了 次 抽取 的 最 大 “ 美 " 数 字 出 现在 前 下 次 抽取 中 这 样 一 个 事件 ,那么 ， 对 于 
jk, E(k) =Q2( 必然 事件 ), 但 对 于 了 >k, EB,() 是 02 的 子 集 。 令 表示 在 包 内 的 入 个 数字 
中 包含 有 最 大 “ 美 ” 数 字 这 样 的 抽取 ,那么 要 实现 一 次 正确 的 判定 ,两 个 事件 必须 联合 发 生 : 
(1)( 很 明显 ) |x >k| ; (2)( 很 微妙 ) 对 所 有 的 j,k <j<X, E(k)。 那 么 , 为 了 要 得 到 一 次 正 
确 的 判定 C, 子 事件 1Z =7+1| 必须 与 事件 慷 ,(k) (对 于 每 一 个 j,k <J < 入 ) 联合 发 生 。 这 样 ， 
事件 |x >k| 可 以 分 解 为 一 些 不 相交 的 事件 的 并 

{>k}={rz=k+1}U{r=k+2}U...U{z=N} 
因此 
C={rz=k+1, E(k)}U {z= E+2, Err(k)}:...U {z= N, En-1(k)} 
正确 判定 的 概率 是 
N-—1 


PIC] = >_ Plz =j+1,B;(k)], 因为 这 些 事件 是 不 相交 的 


j=k 
其 中 利用 了 这 样 一 个 事实 P[z = 7 + 1] =1/N, 这 是 由 于 从 次 抽取 中 得 到 最 大 “ 美 "数字 是 
等 可 能 的 。 另 外 , P[ EB,(k) 1x =j+1] = 是 因为 从 前 了 次 抽取 中 任何 一 次 抽 到 最 大 “ 美 " 数 
字 是 等 可 能 的 ， 所 以 , 在 j 次 抽取 中 的 前 上 次 抽 得 的 概率 为 k/j。 
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由 欧 拉 ( Euler) 求 和 公式 DD, 对 于 大 的 入 





， 1 1 1 
天 Et 
| , 当天 足够 大 时 


忽略 整数 约束 ,天 的 近似 的 最 佳 选择 (比如 说 io ) 可 通过 微分 求 得 , 令 
dPIC] 


dk 
我 们 求 得 


借助 整数 的 约束 ,我们 把 有 四 会 五 入 ,得 


NV 1 
ko 污 | 一 十 与 
| 


其 中 | . | 表示 取 最 小 的 整数 。 正 确 判定 的 最 大 概率 P[ C] 变 成 
N 
[3 +] 


1 
名 一 Ine 三 0.367 
e 





立 十 工 
Plclx eta 


这 样 , 我们 在 开始 对 竞选 者 做 出 判定 之 前 ， 应 该 近似 让 前 三 个 竞选 者 (更 准确 地 说 是 36.7% ) 
过 去 。 假 定 人 是 这 一 结论 成 立 的 一 个 合理 的 大 数字 ， 有 趣 的 事实 是 这 个 结论 与 N 无 关 ， 而 通 
过 随机 选择 选 到 最 美 候选 人 的 概率 则 随 1/N 减少 。 

还 有 其 他 一 些 情况 需要 使 正确 判决 概率 最 大 的 策略 。 


1. 你 是 一 个 要 租房 子 的 人 , 选择 了 30 个 出 租 公寓 进行 考察 ， 你 看 到 了 一 个 你 喜欢 的 公 
寅 , 但 没有 签约 , 因为 你 认为 下 一 个 要 看 的 公寓 或 许 更 是 你 所 希望 的 , 然而 , 随后 你 看 
到 的 公寓 没有 一 个 比 得 上 前 一 个 。 在 此 期 间 , 你 拒绝 的 那 套 公寓 被 别人 租 了 , 由 于 你 
的 犹 承 ,不 得 不 租 一 套 差 的 公寓 。 

2. 你 正在 寻找 一 位 伴侣 以 度 过 你 的 余生 , 为 此 你 与 单身 约会 机 构 接 触 ， 以 每 周一 次 约会 
的 速度 去 与 50 位 可 能 的 伴侣 见面 , 在 第 9 次 约会 时 ,你 决定 你 找到 了 生命 中 的 伴侣 ， 
并 且 与 其 结婚 。 然 后 , 你 忘记 通知 约会 机 构 停 止 介绍 其 他 人 约会 。 下 一 周 , 又 介绍 你 
去 约会 ,而 这 个 新 介绍 的 可 能 伴侣 各 方面 的 条 件 都 优 于 你 已 选择 的 ,你 为 你 的 冲动 而 
猛 踊 自己 。 





@ 例如 , 参见 GC.F. Carrier 等 的 Function of a Complex Variable( New York: McGraw-Hill, 1966 ) , p. 246 或 访问 维基 网 页 : Eul- 
er-Maclaurin formula (http : //en. wikipedia. org/ wiki/ Euler% E2% 80% 93 Maclaurin_formula) 。 
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3. 你 在 为 政府 高 级 职位 的 候选 人 进行 面试 。 为 了 减少 偏心 的 可 能 性 , 你 受到 下 列 规则 的 
约束 : 你 对 候选 人 的 面试 是 按 顺 序 来 进行 的 , 并 且 根 据 工作 的 描述 , 把 工作 给 第 一 个 
合格 的 候选 人 。 如 果 你 拒绝 候选 人 , 这 意味 着 他 /她 是 不 合格 的 , 那 你 必须 在 你 的 报告 
中 进行 陈述 。 然 而 , 你 足够 聪明 , 知道 即使 在 合格 的 候选 人 中 还 有 更 为 出 色 的 人 选 ， 
而 其 他 人 仅仅 是 合格 而 已 。 你 要 为 工作 雇用 最 佳人 选 。 你 的 策略 是 什么 ? 


全 概率 定理 ”在 工程 和 科学 的 许多 问题 中 , 我 们 要 计算 根据 加 权 条 件 概率 之 和 来 计算 事 
件 B 的 无 条 件 概 率 PLB], 这 样 的 计算 很 容易 通过 下 面 的 定理 来 实现 。 

定理 1.6-1 令 Al, As,…, A, 是 Nh 个 互 斥 的 事件 , 且 U?.14; = 人 (Ai 是 穷 举 的 ) , 令 B 
是 任何 一 个 定义 在 A; 的 概率 空间 上 的 事件 ,那么 , 对 于 所 有 的 i, P[4;] 关 0, 有 

PEB] = PIB|IAiIPIA1] +:… + PIBIAn]PIA,] (1.6-7) 

有 时 P[B| 也 称 为 如 的 全 概率 ,因为 右边 的 表达 式 是 BB 的 条 件 概 率 的 加 权 平 均 。 

证 明 对 于 所 有 的 ij, 我 人 有 AiA; =$ 和 Ui_14;=02, 另外 , BQ=B=B Ui_1A; = Ui_1B4;,， 
但 是 ， 由 交集 运算 的 定义 , B4; C A;, 因此 ，, 所 有 的 1z7 有 (BA;) (BA;) = 由 这样， 由 公理 
3( 推 广 到 n 个 事件 ) 


PIB]=P = PLB41 + PL[BA»] +:…+ PIBA,] 





ua 
pt 
= PIB|IA1]P[Ai] + :+ PIB|An]PIA] 
最 后 一 行 是 由 式 (1.6-2) 得 出 的 。 
例 1.6-13 (二 元 信道 的 更 多 讨论 ) 对 于 图 1. 6-4 所 示 的 二 元 通信 系统 ,计算 无 条 件 输 出 
概率 P[LY] 和 PLY]。 
解 ” 继 续 二 元 通信 的 例 1. 6-10 的 符号 表示 , 利用 式 (1.6-8), 得 
Pl[Yo] = P[Yo|Xo]P[Xo] + PIYo|X1]PLX1] 
= Pc[Olo] Ps[0] + Pol[Ol1] Ps[1]! 
= (0.9)(0.5) + (0.1)(0.5) 
=0.5 
我 们 可 以 用 类 似 的 方式 计算 PL 了 ], 或 者 注意 到 了 U 卫 = 和 Yo 由 了 = 中 ; 即 它们 是 不 相 
交 的 , 因此 , P[Y] +P[Y] =1, 这 也 意味 着 P[Y 了 ] =1 -PLY] =0.5。 





(1.6-8) 


1.7 ” 贝 叶 斯 定理 及 应 用 


前 面 的 结果 使 我 们 能 够 用 简单 的 公式 写 出 , 这 个 公式 称 为 贝 叶 斯 定理 了 D。 尽 管 很 简单 ,这 
个 公式 在 生物 统计 学 、 流 行 病 学 和 通信 理论 中 有 广泛 的 应 用 。 

贝 叶 斯 定理 令 Ai(i =1, 2, …, nn) 是 定义 在 概率 空间 上 的 一 个 互 不 相交 且 穷 举 事 件 的 
集合 , 那么 , 对 于 所 有 的 1z 关 1， U?_14; = 0, A;A; = 由 有 一 个 定义 在 上 的 事件 B, PLB] >0 和 
对 所 有 的 %$, PL A;] 关 0, 有 





DD 以 英国 数学 家 、 哲 学 家 Thomas Bayes 命名 。 
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PLB|Aj]PlAj] 
PIAj|B]= 二 
乞 PLBl4i]PL4i] (1.7-1) 


证 明 分 母 是 由 式 (1.6-8) 给 出 的 PLB], 分 子 是 P[A)B], 因 此, 贝 叶 斯 定理 只 是 条 件 概 

注释 ”在 实际 中 , 给 式 (1.7-1) 的 各 项 不 同 的 名 字 , PLA4;1B] 称 为 B 给 定 的 条 件 下 4; 的 
后 验 概率 , PL A;] 是 4; 的 先 验 概率 。 一 般 说 来 , 先 验 概率 是 根据 过 去 的 测量 得 到 的 估计 或 依 
据 经 验 的 预先 假定 , 而 后 验 概率 是 根据 观测 来 进行 度量 的 或 计算 的 。 

例 1.7-1 ( 送 二 元 信道 ) 在 通信 系统 中 , 0 或 1 分 别 以 概率 Ps[0] =po, Ps[1] =1 -po 和 Ap 
被 发 射 ， 由 于 信道 中 有 噪声 , 0 被 接收 为 1 的 概率 为 B, 称 为 交 又 概率 , 1 被 接收 为 0 的 概率 也 
为 B。 在 信道 的 输出 端 观测 到 1， 源 的 输出 或 信道 的 输入 ( 即 发 射 ) 为 1 的 概率 是 多 少 ? 

解 ”信道 的 结构 如 图 1.7-1 所 示 , 可 写成 

P[X1Y¥] 








he P[Y] (1.7-2) 
Polll1l]Ps[1] 

~ Polil1]Psl1] + Peto Psd (1.73) 

A a 


Di 一 DB) 二 Do0 
如 果 po =pi =1/2, 送 概 率 或 后 验 概率 P[Xi1Y] 依 赖 于 B, 如 图 1.7-2 所 示 , 如 果 B=0, 我 们 称 
信道 是 无 噪声 的 ,但 注意 到 当 B=1 时 ,信道 一 样 有 用 ,在 这 种 情况 下 , 输出 刚好 是 反 过 来 的 。 





PLX1 |Y] 
1 
x=0, po y=0 
X=1,p, y=1 0 1 B 
图 1.7-1 有 噪声 时 二 元 通信 信道 的 表示 1.7-2 后 验 概率 与 B 的 关系 


例 1.7-2 [阿尔 英 海 默 (Alzheimer) 病 的 淀粉 样 蛋白 测试 ]2010 年 8 月 10 日, 在 网 络 电 
视 新 闻 中 有 一 个 关于 阿尔 英 海 默 病 的 一 种 有 前 途 的 新 的 测试 , 它 是 基于 在 瑚 柱 ( 脑 ) 流 体 中 淀 
粉 状 蛋白 的 出 现 ， 它 可 以 通过 养 椎 抽 液 检测 到 。 据 报道 ， 在 老年 病 采 症 患 者 中 (65 岁 以 上 )， 
有 90% 的 病人 有 淀粉 状 蛋白 ， 而 在 无 老年 疾 采 症 的 人 组 中 (65 岁 以 上 )， 只 有 36% 的 有 淀粉 状 
蛋白 。 从 过 去 几 年 的 调查 得 出 的 结论 是 : 在 65 岁 以 上 的 人 组 中 ,老年 疡 呆 一 般 的 发 病 率 是 
10% 。 从 这 个 数据 我 们 要 求证 : 这 真 的 是 一 个 好 测试 ? 
首先 构造 这 个 测试 的 概率 空间 , 令 Q= 100, 01, 10, 11| , 有 四 个 实验 结果 : 
00 =“ 没 有 淀粉 状 蛋白 ”和 “没有 老年 疡 采 症 ”， 
01 = “没有 淀粉 状 蛋白 ”和 "有 老年 病 呆 症 ”， 


第 1 章 概率 论 导论 27 


10 =“ 有 淀粉 状 蛋白 ”和 “没有 老年 疡 呆 症 ”， 
11 =“ 有 淀粉 状 蛋 白 ” 和 “有 老年 疡 果 症 ”。 
在 这 个 样本 空间 中 ， 我们 定义 了 两 个 事件 : AA |10, 11| =“ 有 淀粉 状 蛋 白 ”" 和 BA 101， 
11| =“ 有 老年 病 呆 症 ”,， 从 以 上 的 数据 , 我们 有 
P[AIB] =0.9 和 P[41B"] =0.36 
另外 , 根据 总 的 样本 数 (65 个 以 上 ) ,我 们 有 
PIB]=0.1 和 PIB°]=1-PIBj=0.9 
现在 要 确定 测试 是 不 是 好 的 ,我 们 必须 看 一 看 做 了 测试 以 后 的 情况 , 这 可 以 用 测试 后 的 条 件 概 率 
来 建 模 ， 即 如 果 测 试 淀粉 状 蛋 白 是 阳性 的 就 用 PL .14] ,如 果 测 试 是 阴性 的 就 用 P[ . 14“]。 所 
以 ,可 以 用 全 概率 公式 来 求 得 P[BIA] 的 答案 , 于 是 
PIAIBIPIB] 
PIAIB]PIB] + P[AIB‘]PIBd 
0.9 x 0.1 
0.9 x 0.1 十 0.36 x 0.9 
=217 
因此 , 在 测试 为 阳性 的 组 中 , 实际 上 只 有 22% 有 老年 病 采 症 。 现 在 看 来 这 个 测试 并 不 是 那么 有 前 
途 , 为 什么 呢 ? 问题 就 在 于 ,在 涉及 到 条 件 概 率 己 [| 召 ] 时 ,我 们 永远 也 没有 由 事件 召 刻 画 的 
“知识 状态 ”, 在 给 定 测试 前 , 我 们 的 知识 状态 是 由 无 条 件 概率 知识 P[ . ] 来 刻画 的 。 测 试 以 后 ， 
知识 状态 是 由 事件 4 或 4 是 否 已 经 发 生来 刻画 的 。 即 我 们 的 条 件 概 率 是 已 [ . 14] 或 者 
PL .1A“]。 你 看 到 的 是 , 我 们 进入 了 检验 人 和 群 的 “给 定 A” 或 者 “给 定 A'” 的 知识 状态 中 ,所 以 , 永 
远 也 不 知道 P[. 1B] 或 P[ .1B ] 这 种 相关 的 概率 测度 的 知识 状态 。 所 以 ,给 定 信息 PLA1B] =0.9 
和 P[4IB"] =0.36 对 直接 确定 测试 是 有 用 还 是 无 用 是 没有 什么 帮助 的 。 这 是 用 P[AIB] 代 
替 P[ BI1A] 进 行 逻 辑 推理 的 一 个 廖 论 , 但 在 这 个 特殊 的 例子 里 还 有 非常 实际 的 问题 要 继续 
讨论 。 
当 我 们 计算 已 [五 14] =1.0-0.217 =0.783 时 ,这 意味 着 淀粉 状 蛋白 测试 为 阳性 的 人 的 
78% 并 没有 老年 病 采 ， 所 以 ， 由 于 假 阳 性 率 太 高 ， 这 个 测试 是 无 用 的 。 另 外 ,从 前 一 个 例子 ， 
在 总 的 样本 数 (65 个 以 上 ) 中 患 有 老年 病 呆 症 的 人 数 稀少 也 是 一 个 问题 ， 任 何 测试 要 成 为 有 用 
的 测试 都 必须 克服 这 个 问题 。 








P[B|4] 





1.8 组 全 5 


在 继续 概率 基础 学 习 之 前 , 对 于 等 概 事件 的 计数 , 引入 一 些 重 要 的 计数 公式 。 这 里 给 出 的 
结果 有 些 将 在 1.9 节 中 立即 得 到 应 用 , 其 他 在 后 面 也 会 有 应 用 。 

容量 为 n 的 总 体 意 味 着 是 一 个 n 个 元 素 的 集合 , 元 素 在 集合 中 是 不 考虑 顺序 的 。 来 自 于 
容量 为 n 的 总 体 中 的 一 个 容量 为 7 的 子 总 体 是 一 个 7 个 元 素 的 子 集 , 这 7 个 元 素 是 来 自 于 原 
始 总 体 的 。 同 样 , 两 个 子 总 体 认为 是 不 同 的 , 指 的 是 一 个 子 总 体 至 少 有 一 个 元 素 不 同 于 男 一 个 
子 总 体 中 的 元 素 。 | 

考虑 一 个 ni 个 元 素 ,Qs,…, a 的 总 体 , 7 个 符号 的 任何 有 序 的 排列 os ，Qx，…， ax, 称 





中 这 一 部 分 材料 采用 了 Willian Feller[ 1 -8] 的 相关 内 容 。 
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为 容量 为 7 的 有 序 样本 。 现 在 考虑 通用 钢 , 钠 里 装 有 个 标 有 数字 的 球 , 球 一 个 接 一 个 地 被 拿 
出 , 这 能 形成 多 少 个 容量 为 7 的 不 同 的 有 序 样本 ? 有 两 种 情况 : 

(i) 重复 抽样 ”每 个 球 取出 后 , 记录 球 的 数字 , 然后 放 回 饶 里 。 这 样 , 第 一 次 取样 有 种 
选择 , 第 二 次 取样 还 是 n 种 选择 ,以 此 类 推 。 这 样 就 得 到 如 下 结果 : 对 于 一 个 ? 个 元 
素 的 总 体 , 能 够 形成 %' 个 容量 为 r 的 不 同 的 有 序 样本 。 

(站 ) 无 重复 抽样 ”每 个 球 被 抽出 后 不 再 放 回 原 处 ,随后 的 抽样 就 不 可 用 。 这 样 , 第 一 次 
抽样 ， 有 个 球 可 用 , 第 二 次 抽样 就 只 有 n 一 1 个 球 可 用 , 以 此 类 推 。 于 是 ,就 得 到 
这 样 的 结果 : 对 于 个 元 素 的 总 体 , 通过 无 重复 抽样 , 形成 了 

(n)r 全 n(nom1)(nom2):...(n—r+1) 
nl (1.8-1) 
(no—7)! 
个 容量 为 > 的 不 同 的 有 序 样本 9。 
在 大 小 为 nn 的 总 体 中 大 小 为 7 的 子 总 体 的 个 数 在 概率 论 中 常常 出 现 的 一 个 基本 问题 是 : 
从 一 个 容量 为 n 的 总 体 中 能 够 形成 多 少 个 组 或 形成 多 少子 总 体 ? 例如 , 考虑 标 有 数字 1 ~6 的 
6 个 球 , 能 够 形成 多 少 个 容量 为 2 的 组 ? 下面 的 表格 表明 可 以 形成 15 个 容量 为 2 的 组 : 
12 23 34 45 56 
13 24 35 46 
14 25 36 
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12 21 31 41 51 61 
13 23 32 42 52 62 
14 24 34 43 53 63 
15 25 35 45 54 64 
16 26 36 46 56 65 


tt 计 831 下 中 6 


在 容量 为 n 的 总 体 中 , 容量 为 7 的 子 总 体 数 C; 的 通用 公式 能 够 计算 如 下 : 考虑 一 个 有 个 
可 识别 的 球 , 我 们 已 经 知道 , 能 够 形成 的 容量 为 7 的 有 序 样 本 数目 是 (2%),, 现在 考虑 一 个 容量 
为 了 的 特殊 子 总 体 , 这 个 子 总 体 有 7! 个 排列 , 也 就 有 7! 个 不 同 的 有 序 样本 。 所 以 , 对 于 Cr 个 
子 总 体 , 肯定 有 C; 7! 容量 为 7 的 不 同 有 序 样本 ,因此 
本 = 
或 


@ 不 同 的 样本 常常 包含 有 相同 的 子 总 体 , 但 具有 不 同 的 顺序 , 由 于 这 个 原因 , 我 们 说 无 重复 抽样 能 形成 的 有 序 样本 组 的 数 
目 是 (n), 个 。 
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es RM (”) (1.8-2) 


7! (n—r)lr! \r 


式 (1.8-2) 是 一 个 很 重要 的 结果 , 我 们 将 在 下 一 节 应 用 。 符 号 


ss 人 
称 为 二 次 项 系数 。 很 显然 
(”) = tm i 3 (aa = Cn-r (1.8-3) 
从 1.4 节 已 经 知道 ,容量 为 的 集合 的 子 集 的 数目 是 2 容量 为 的 子 集 的 数目 是 (”]， 因 
此 , 我 们 得 到 





二 ()]-> 
7 
7 一 0 
下 面 的 定理 给 出 一 个 结论 , 这 个 结论 可 以 看 成 二 项 式 系数 0” 的 扩展 。 
定理 1.8-1 令 7i,…, 7 是 1 个 非 负 整数 的 集合 ,Ti +7 +… +7, =n， 那么 nl 个 元 素 的 
总 体 划 分 为 了 个 子 总 体 的 方法 有 
nl 
Tilr2ol.. .rl (1,8.4) 
其 中 这 些 子 总 体 的 第 一 个 含有 7 个 元 素 , 第 二 个 含有 7。 个 元 素 , 以 此 类 推 。 这 个 系数 称 为 多 
项 式 系数 。 注意 ， 子 总 体 是 有 顺序 的 ， Bp(7, = 72 =10) 和 (7 =10， 72 =7) 表 示 不 同 的 划分 。 
然而 , 每 个 组 里 的 顺序 并 不 重要 。 例 如 ,假定 有 五 个 可 分 辨 的 球 (1, 2, 3, 4, 5), 我们 要 问 能 
够 划分 出 多 少 个 子 总 体 ? 其 中 第 一 组 有 三 个 球 ， 第 二 组 有 两 个 球 。 即 nN =5， 7 =3, 72 =2， 且 
Tl +ya =5, 答案 是 51/3121 =10, 这 些 划 分 是 
第 一 组 | 23| 234 | 345 | 二 5 工 」 B12 | 245 | .2.3.5 | 135 | 1%4 | 124 
第 二 组 :| 4.5 5,1 12 2,3 3,4 于 或 1,4 2,4 2;5 3,5 
注意 , 这 里 顺序 是 重要 的 ， 如 果 令 7 =2, 7。 =3， 那 我 们 就 会 得 到 不 同 的 划分 , 例如 
第 一 组 : 六: 泊 5,1 有 2:3 3,4 .3 1,4 2,4 2.5 35 
第 二 组 :| 123| 2.34 | :3.45 | 451 | 512 | 245 1235 | 1,35 | 13,4 | 1,2,4 
然而 划分 (4, 5), (1, 2, 3) 与 (5, 4), (2, 1, 3) 是 相同 的 。 
证 明 : 注意 到 我 们 能 够 重 写 式 (1.8-4) 为 
nl 1 1 


7 一 yeh! 
nl! (nC—r1)! (nC—r71— "72)! j= 


1 
ril((n Cori)!l ro2l(m 一 ri 一 ro)lr3sl(m 一 7rl 一 7ra 一 73)l | 1 ) 
ril[n— rz 由} 
j=1 

















回想 一 下 , 0! =1, 可 看 到 最 后 一 项 是 1, 那么 , 多项式 公式 写 为 


人  - n 类 一 外 和 迷 一 这 一 性 刀 一 7T1 一 ro 一.…- 一 7T_2 
rilr2o!l:. -ri! > bt ( 72 ) ( 73 2 Ti_1 (1.8-5) 
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为 了 影响 在 第 一 子 总 体 的 7, 个 元 素 的 现实 ,在 第 二 个 子 总 体 中 的 7 个 元 素 的 现实 ， 等 等 ,我 
们 应 该 从 给 定 的 即 个 元 素 中 选择 7| 个 元 素 ,， 从 剩 下 的 Nn 一 7 中 选择 7, 个 元 素 ， 从 剩 下 的 
m4 -六 -六 中 选择 入 个 元 素 ,等 等 。 但 是 ， 在 九 中 选择 个 元 素 有 [”] 种 选 法 ， 从 刀 -7n 中 选 


了 一 人 
个 元 素 有 | 
72 
项 之 积 , 证 明 完 成 。 
例 1.8-1 ( 搬 12 个 乳 子 )0-8"a61 假 定 我 们 搓 12 个 最 子 ， 每 个 最 子 有 6 个 实验 结果 ， 总 
共有 nr=6" 种 实验 结果 。 现 在 考虑 每 面 出 现 两 次 事件 轧 ， 当然 , 这 个 事件 的 发 生 有 很 多 种 方 
式 ， 两 个 实验 结果 发 生 如 下 : 


] 种 先 法 ， 以 此 类 推 。 因 此 ， 这 样 选择 的 话 ， 总 的 选 法 就 是 式 (1.8-5) 右边 各 





山子 LD. 号 : | 1 2 3 4 5 6 7 8 9 10 11 12 
实验 结果 1 | 3 1 3 6 1 2 5 4 4 6 2 5 
实验 结果 2 |6 1 3 2 6 3 4 5 5 1 4 2 


这 个 事件 发 生 的 总 次 数 就 是 12 个 鹏 子 (! =12) 被 安排 成 6 组 (上 =6)、 每 组 两 个 (mi =7s =… = 
76 =2) 的 总 数 。 假 定 所 有 实验 结果 是 等 可 能 的 , 我 们 得 
_Np 万 发 生 的 次 数 ”12! | 
-ni “总 的 实验 结果 孝 “(21) "6 “3438 

二 项 式 和 多 项 式 系数 出 现在 下 一 节 将 要 讨论 的 二 项 式 分 布 和 多 项 式 分 布 。 多 项 式 系数 在 
理论 物理 中 称 为 入 住 问题 中 也 是 很 重要 的 。 
入 住 问题 

入 住 问题 本 质 上 可 以 看 成 把 7 个 球 随机 放 入 nn 个 单元 的 问题 , 第 一 个 球 有 mn 种 选择 ， 
第 二 个 球 也 有 种 选择 , 以 此 类 推 , 所 以 , 在 nt 个 单元 中 7 个 球 有 种 可 能 的 分 配方 法 , 每 一 
种 方法 的 概率 是 mn“，, 如 果 球 是 可 辨别 的 , 那么 , 每 一 种 分 配 也 是 可 辨别 的 , 如 果 球 不 是 可 辩 
别 的 , 那么 , 可 辨别 的 分 配 就 少 于 ww 种 。 例 如 ,用 三 个 可 辨别 的 球 (7 =3), 分 别 标 有 “1”， 
“2”,“3”, 有 两 个 单元 (n =2), 那么, 就 可 以 得 到 2 种 可 辨别 的 分 配 : 

单元 1 | 中 一 


PIE] 











单元 2 | 381 13831 12| | 2 | | 一 128| 
当 球 是 不 可 辨别 的 , 每 个 球 用 一 个 ”* "表示 , 我 们 可 得 到 四 个 不 同 的 分 配 : 
单元 1 | ### | ## | * | 一 





从 7 个 球 和 个 单元 能 形成 多 少 种 可 辨识 的 分 配 ? 威廉 ， 费 勤 “ 一 "” (William Feller) 
提供 一 种 简便 的 方法 , 这 种 方法 使 用 了 很 聪明 的 技巧 , 技巧 是 在 n+1 个 竖 线 之 间 的 空间 表示 
n 个 单元 , 并 且 用 星 号 ”* "表示 球 , 这 样 

| | | | 
表示 三 个 空 单元 , 而 
正二 四 国医 二 全 下 国 国 下 二 于 二 到 让 | 
表示 在 第 一 个 单元 中 有 两 个 球 , 第 二 、 三 个 单元 中 有 零 个 球 , 第 四 个 单元 中 有 一 个 球 , 第 五 个 单 
元 中 有 两 个 球 , 等 等 。 实 际 上 , 用 人 六 >=0 表示 在 第 i 个 单元 中 球 的 个 数 , 7 表示 总 的 球 数 , 那么 
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7 十 72 .7 一 人 
nn 元 组 (Ti 和，…， 和 ) 称 为 入 住 , 7; 是 入 住 数 , 在 单元 中 球 的 两 种 分 配 , 如 果 它 们 对 应 的 入 住 
是 相同 的 , 则 称 为 不 可 辨识 。 人 住 
| 汪 开 下 下 环 下 天 于 | 御 过 地 更 要 
是 (2, 0, 0, 1,2,0,5)。 注 意 , n 个 单元 要 求 n+1 根 竖 线 , 因为 第 一 符号 和 最 后 一 个 符号 必 
须 是 竖 线 。n -1 根 竖 线 和 7 个 星 号 “x* ”可 以 任何 顺序 出 现 。 因 此 我 们 要 问 , 在 容量 为 -1 +7 个 
总 体 中 , 容量 为 7 的 子 总 体 的 数量 是 多 少 呢 ? 由 式 (1.8-2) 得 出 的 结论 是 


了 十 了 一 工 7 十 7 一 工 
tr ea 


二 1 
例 1.8-2 (可 辨识 分 配 ) 证 明 没有 一 个 单元 是 空 的 可 堆 识 分 配 是 | ， 上， 外 我 们 要 求 没 


有 一 根 竖 线 是 相 令 的。 因此 ,7 个 “*” 必 须 入 住 竖 线 之 间 的 空间 , 剩 下 的 7-n 个 “x*” 可 以 放 
入 任何 位 置 。 这 样 , n -1 根 竖 线 和 7 一 n 个“*#” 可 以 任何 顺序 出 现 , 那么 , 不 同 的 分 配 数 等 于 
选择 7 一 n 个 “* ”放置 到 (n -1) 根 竖 线 之 间 、 再 加 上 (7 一 n) 个 星 号 放置 到 任意 的 竖 线 之 间 的 
总 的 选择 数 ， 即 人 -1+7-1=7 -1 中 选 和 -7 的 总 的 选择 数 。 于 是 ,由 式 (1.8-2), 得 
Cs S (2 
rn nO—1 

例 1.8-3 (同一 天 生日 ) 小 组 的 人 惊讶 地 发 现 他 们 的 生日 与 组 里 的 其 他 人 经 常 一 致 ,在 
宣布 这 一 神秘 事情 之 前 , 我 们 先 把 它 当 成 一 个 入 住 问题 进行 分 析 。 即 我 们 要 计算 需要 多 大 的 
一 组 才 有 高 概率 出 现 生 日 “碰撞 ”, 即 在 组 内 至 少 有 两 个 人 在 同一 天 生日 。 

解 令 一 年 的 天 数 n(n =365) 用 nn 个 单元 表示 , 一 组 里 7 个 人 用 7 个 球 表示 , 那么 ， 当 球 
放 入 一 个 单元 时 , 也 就 是 球 所 代表 的 人 在 那天 生日 ， 当 一 个 单元 有 两 个 以 上 的 球 时 就 表示 生日 
“碰撞 "发生, 现在 考虑 球 的 排列 。 第 一 个 球 可 以 放置 在 Nr 个 单元 中 的 任意 一 个 , 但 第 二 个 球 
只 有 nn 一 1 种 选择 才能 避免 “碰撞 ”, 第 三 个 球 就 只 有 n -2 种 选择 , 按 这 种 方式 继续 下 去 ,我 
们 发 现 , 避免 “碰撞 ”的 排列 数 是 n(n 一 1)…(n 一 ?+1)。 在 n 个 单元 中 7 个 球 的 总 的 排列 数 是 
n"。 因 此 , 用 Po(7, nn) 表 示 零 次 生日 “碰撞 ”的 概率 与 7 和 的 函数 ,可 求 得 为 Po(7, n) = 


r-l 


nn-1):.{£n-r+1) _ IT( -二 )， 那么 1 - P,(7, 7) 就 是 至 少 有 一 次 “碰撞 "的 概率 。 


r 


7 i=l 也 


需要 多 大 的 才能 使 1-P(7,7) 三 0.9 呢 ? 或 等 价 于 已 (7, 即 ) 近 0.1? 剩 下 的 问题 就 是 


IT(1 -二 ) < 0.1 的 求解 。 我 们 使 用 基本 微 积 分 中 的 一 个 结论 : 对 任意 实数 x, 1 -Z<e， 


2 
i=1 N 





在 人 接近 零 时 ， 这 是 一 个 很 好 的 近似 。 如 果 用 [Je < 0.1 替 代 (1 - 过) < 0.1, 那 就 得 
到 一 个 边界 和 7 的 估计 。 由 于 Ile™ = exp{- 土 允 引 ， 以 及 了 1 =7(7-1)/2, 那么 得 出 的 
表达 式 @-wr("-1) < 0.1 将 给 出 7 的 估计 值 。 假定 人 2 污 7, n=365, 我 们 得 到 7 二 40。 所 以 , 在 
40 人 一 组 中 至 少 有 两 个 人 同一 天 生日 的 概率 为 90% 。 


例 1.84 (“十 三 点 ”游戏 ) 在 十 七 世纪 的 威尼斯 , 狂欢 节 期 间 , 带 着 喜剧 中 角色 的 面具 的 
赌 徒 在 称 为 化 妆 舞 会 的 娱乐 大 厅 玩 着 一 种 纸牌 游戏 "十 三 点 ”。 
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在 “十 三 点 "游戏 中 , 一 名 游戏 者 扮演 银行 家 ,其 他 游戏 者 将 放置 赌注 , 银行 家 在 台面 上 洗 
牌 ， 牌 面向 下 ， 然 后 按 顺 序 从 1 ~13 叫 出 A 到 的 牌 的 名 字 , 每 次 银行 家 翻 出 一 张 牌 ， 如 果 翻 
出 的 牌 与 他 叫 的 数字 匹配 ,他 就 赢 了 , 并 且 收 走 所 有 赌注 ,如 果 翻 出 的 牌 与 银行 家 叫 出 的 数字 
不 匹配 ， 游 戏 继续 ， 直 到 庄家 叫 到 13 ， 如 果 翻 过 来 的 牌 不 是 K, 银行 家 就 输 掉 本 次 游戏 , 他 就 
必须 给 每 位 下 注 者 赔付 对 方 下 的 注 , 这 时 , 扮演 银行 家 的 游戏 者 必须 让 出 他 的 位 置 ， 把 银行 家 
的 角色 让 给 右边 的 游戏 者 。 

银行 家 赢得 比赛 的 概率 是 多 少 呢 ? 

解 为 了 简化 分 析 , 假定 一 次 只 翻 一 张 牌 ， 如 果 不 匹配 就 放 回 原 处 ， 然 后 重新 洗 牌 ， 再 翻 
下 一 张 牌 。 令 4 表示 银行 家 第 一 次 匹配 这 个 事件 ， 即 在 第 刀 次 翻 牌 时 赢 了 ,用 W, 表示 在 nn 次 
翻 牌 中 有 一 次 赢 这 个 事件 。 由 于 在 52 张 牌 中 每 个 数字 有 四 张 牌 ， 匹 配 的 概率 是 1/13, 为 了 要 
在 第 9. 次 翻 牌 时 第 一 次 赢得 游戏 ， 就 应 该 在 前 刀 -1 次 不 匹配 然后 跟着 一 次 匹配 ,这 一 事件 的 


概率 为 
Fats ( 加 §) 


由 于 对 于 i 关 j， 4,4) = 中， 所 以 ,赢得 “十 三 点 ”游戏 的 概率 是 








1 11-( 执 ”  。 
P[Wi13] = 着 多 -二 0 一 0.647 
而 银行 家 输 掉 游戏 这 个 事件 Wis 的 概率 是 P[ Wis] =0.353。 实 际 上 , 利用 每 次 匹配 的 概率 
1/13, 通过 考察 银行 家 在 13 次 翻 牌 中 没 一 次 匹配 就 输 掉 游戏 这 个 事件 ,那么 输 挤 游戏 的 概率 


也 是 更 容易 得 到 的 
1 je ION 
PIWs] = ( 6 ) ( 襄 ) (¥B) = 0.353 
注意 ， 在 第 二 个 等 式 中 ， 使 用 了 几何 级 数 求 和 公式 : 了 tr = 一 2 (参见 附录 A)。 


要 考虑 的 几 点 : 为 什么 当 n 一 % 时 , PL4,] 一 0? 为 什么 对 所 有 的 n, PL Wj] 二 PLA,]? 
如 果 没 有 假定 翻 牌 后 放 回 原 处 ， 又 如 何 重 新 建 模 呢 ? 如 果 银 行家 从 13(K) 到 1(A) 反 方向 叫 
牌 , 这 个 问题 又 如 何 变化 呢 ? 

在 统计 力学 中 , 由 三 个 位 置 和 三 个 动量 坐标 表示 的 六 维 空间 称 为 相 空 间 , 根据 不 确定 性 原 
理 , 位 置 的 不 确定 性 乘 以 动量 的 不 确定 性 不 能 小 于 普 朗 克 (Planck) 常数, 相 空间 被 量化 为 一 
个 v= 妈 的 小 的 体 元 , 在 包含 原子 或 分 子 大 小 的 粒子 的 系统 中 , 这 些 粒子 在 这 些 体 元 之 间 的 分 
布 构成 了 系统 的 状态 。 在 麦克 斯 韦 - 玻 尔 兹 曼 统 计 学 中 , 在 个 单元 中 的 7 个 粒子 是 等 可 能 
的 。 可 以 证 明 ( 参 见 由 A，Beiser 所 著 , McGraw-Hill 出 版 的 Concepts of Modern Physics ) 得 
出 著名 的 玻 尔 兹 曼 定律 : 
VE (1.877) 
其 中 , n(g)de 是 能 量 在 e 到 a +de 之 间 的 粒子 数 , N 是 总 的 粒子 数 , 7 是 热力 学 温度 ,k 是 玻 
尔 兹 曼 常数 。 在 某 种 意义 下 , 对 于 能 够 辨识 的 同一 类 粒子 , 麦克 斯 韦 - 玻 尔 效 曼 定律 是 成 立 的 。 
有 争论 的 是 气体 的 分 子 是 这 类 粒子 , 式 (1.8-7) 对 为 求 积分 并 不 困难 。 

与 麦克 斯 韦 - 玻 尔 效 曼 统计 学 不 同 的 是 , 在 所 有 7 种 排列 等 可 能 的 时 候 , 玻 色 - 爱 因 斯 坦 


n(e) = 
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(Bose-Einstein ) 统计 学 只 考虑 了 不 可 辨识 的 相同 粒子 的 可 辨识 的 排列 。 对 于 双 个 单元 和 7 个 
粒子 , 这 样 的 排列 数 由 式 (1. 8-6 ) 给 定 。 
(" 十 了 一 | 


ee 

有 人 认为 玻 色 - 爱 因 斯 坦 统 计 学 对 那些 不 服从 不 相 容 原理 的 零 自 旋 或 整数 自 旋 的 光子 、 原 子 核 
和 粒子 是 有 效 的 。 不 相 容 原 理 是 由 沃 尔 夫 冈 : 泡 利 (Wolfgang Pauli) 在 1925 年 发 现 的 , 对 于 
某 一 类 粒子 (如 电子 ), 不 会 有 两 个 粒子 同时 存在 于 相同 的 量子 态 ( 即 没有 两 个 或 以 上 的 球 处 于 
同一 单元 ) 。 

为 了 处 理 服 从 不 相 容 原理 的 粒子 , 分 析 第 三 种 概率 赋值 方法 , 这 种 赋值 称 为 费 米 - 狄 拉克 
(Fermi-Dirac ) 统计 ,假定 

(1) 不 相 容 原理 (在 同一 单元 中 没有 两 个 以 上 的 球 ) 。 

(2) 所 有 满足 (1) 的 可 辨识 的 排列 是 等 可 能 的 。 


注意 , 对 于 费 米 - 狄 拉克 统计 , r<n, 在 不 相 容 原理 的 假设 下 , 可 辨识 排列 数 是 在 nn 个 元 
素 的 总 体 中 容量 为 7(7<%n) 的 子 总 体 的 个 数 ， 即 | |， 由 于 每 一 种 排列 是 等 可 能 的 ,任何 一 种 


一 种 排列 被 赋予 一 个 概率 


状态 的 概率 是 ( "| 。 


以 上 讨论 应 该 使 读者 相信 , 在 基础 科学 中 概率 的 重要 性 以 及 局 限 性 。 没 有 纯粹 的 基于 概 
率 公理 的 推理 能 够 确定 哪些 粒子 服从 哪些 概率 定律 。 


扩展 与 应 用 
定理 1.5-1 关于 事件 并 的 概率 能 够 用 来 解决 工程 中 问题 , 首先 , 我 们 注意 到 在 和 S; 中 学 的 概 


率 项 数 是 人 ; ,为 什么 呢 ? 因为 在 8; 中 有 个 索引 ， 所 有 项 都 有 :个 索引 。 例 如 ,对 于 n=5 和 


i=2, S, 将 由 项 Pj 的 和 组 成 , 其 中 , 索引 好 是 12; 13; 14; 15; 23; 24; 25; 34; 35; 45。 在 S; 中 
的 每 个 索引 集 永远 也 不 会 重复 , 即 它们 是 不 同 的 。 这 样 , 索引 数 ( 也 即 是 S; 中 的 项 数 ) 是 容量 为 


n 的 总 体 中 容量 为 i 的 子 总 体 的 个 数 , 根据 式 (1. 8-2)， 这 个 数 是 | ; ]。 注意 , S, 只 有 一 个 单项 。 


例 1.8-5 给 定 7 个 球 和 nn 个 单元 , 球 是 不 可 辨识 的 , 并 随机 地 分 布 在 Ki 个 单元 中 , 假定 
每 个 排列 是 等 可 能 的 , 计算 所 有 单元 都 有 球 占 住 的 概率 。 注 意 , 球 可 以 表示 数据 包 , 而 单元 表 
je 而 单元 表示 处 于 饥荒 国家 的 灾民 。 

解 令 忆 ;表示 单元 i(i%=1,…, Nh) 是 空 的 这 个 事件 ,那么 , 7 个 球 放置 在 剩余 的 员 一 1 单 
元 ,因为 7 个 球 的 每 一 个 有 n 一 1 不 日 志 可 沈 栋 . 因此 把 7 个 球 放 置 到 nw 一 1 个 单元 有 A(7, 多 
-1) A4(n 一 1)" 种 排列 方法 。 很 明显 ， 由 于 球 是 不 可 辨识 的 ， 并非 所 有 的 排列 都 是 可 辨识 的 ， 
“7 可 认识 的 分 配 ， 通 通常 ,这些 分 配 不 是 等 可 能 的 。 将 7 个 球 分 配 到 多 个 


实际 上 ， 只 有 | 
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单元 的 总 数 是 n ,因此 
PIE] = (n — 1)"/nr = @ 2) ep 
下 一 步 假定 单元 和 7 是 空 的 ,那么 , A(7, nn -2) =(7 -2) 
A PNT 
PLEiE;] = Pj; = ( 本 


用 类 似 的 方法 , 很 容易 证 明 , P[ E,E,E,] =(1- 训 ) A Pi， 以 此 类 推 。 注 意 , P,, P,, Pi 等 右 


边 表达 式 ， 并 没有 包含 下 标 ¢ 宁 , %%， 等 等 。 于 是 , 每 一 个 5， 包含 | ; ] 个 相同 项 ， 它们 的 和 为 


OL) 


令 万 表示 至 少 有 一 个 单元 是 空 的 ， 那么 ,由 定理 1.5-l1 可 得 





P[E]| = PIUal -=s- Be, 
从 上 面 两 行 的 S; 代入 ,得 
PIE n _ TVi+1 
[2] = > 1) (1 辣 (1.8-8) 
所 有 单元 都 被 占用 这 个 事件 是 娟 , 则 PL[E*] =1 -PI[E] 可 以 写成 
PIE9] = 人 (-1)’ (1-3) (1.8.9) 
i=0 


例 1.8-6 (m 个 单元 空 ) 在 7 个 球 已 经 分 配 后 , 用 式 (1.8-9) 精 确 计算 nn 个 单元 中 有 m 个 
单元 是 空 的 概率 , 我 们 用 三 参数 函数 P,,(7, 也) 来 表示 这 个 概率 。 
解 写 PLE*] =Po(7, n), 现在 假定 Mm 个 单元 是 空 的 , nl 一 m 个 单元 被 占用 ,然后 固定 


m 个 空 的 单元 , 例如 ， A BT ,J 令 B(7, nn-m) 是 在 剩 下 的 nn 一 m 个 单元 分 配 7 个 
球 以 至 于 剩 下 的 单元 没有 空 的 分 配 数 ， 那么 , P(7, nn-m) =B(7, n -m)/A(r, n-m), 


由 于 A(7,n-m)=(n- nt i Nn-m) =(7 一 M) "Po(7, nn 一 m), 在 nt 个 单元 
中 ， 有 (| 种 方法 让 m 个 单元 室 着 。 因 此 ,nh 个 单元 中 在 剩余 m 个 单元 室 着 的 情况 下 ,7 个 
球 排列 的 总 数 是 [” ja- m)"P,(7, n -如 ) 。 最 后 ,在即 个 单元 中 分 配 站 个 球 的 方法 总 数 是 
n ,因此 

Btn wn) = (2) (no—m) P(r,n om)/n” 


化 简 后 得 


Pn(7,n) = (a 3 (” : ) (—1)’ ( 一 一 ) (1.8-10) 
i=0 


1.9 伯 努 利 试验 : 二 项 式 和 多 项 式 概率 分 布 


考虑 一 个 简单 的 随机 实验 , 它 是 由 只 有 两 个 实验 结果 的 单一 试验 组 成 : 成 功 |Z =s} ,概率 
为 D, 0 <p <1, 或 失败 1 = 用 ,概率 为 4 =1 -p。 因 此 , P[s] =p, PLf] =q, 样本 空间 为 2 = 
1s, 几 ,事件 元 的 er 域 是 由 2，!1s1 ,| 天, 这 个 试验 称 为 伯 努 利 试验 。 
假定 做 两 次 试验 , 新 的 样本 空间 为 2%, 写成 信 =Q2xQ, 它 是 所 有 有 序 的 二 元 组 的 集合 
22 = {ss, sf, fs, ff} 
.9 包含 有 2”=16 个 事件 。 比 如 由 ,2，! ss| ,| ss, 任 | , 等 等 。 
对 于 一 般 的 妈 次 伯 努 利 试验 , 笛 卡 儿 积 样本 空间 变 成 了 
On, 一 x 
包含 有 2” 个 基本 实验 结果 , 每 一 个 实验 结果 都 是 一 个 有 序 的 nn 元 组 , 因此 
rs = {aps 3 Ot} 
其 中 必 =2”, ai 和 Azi…%; 是 一 个 有 序 的 % 元 组 , 其 中 z=s 或 f, 由 于 每 一 个 实验 结果 z; 与 其 
他 实验 结果 是 独立 的 , 联合 概率 PLz;…2z; ] =PLz; ]P[z;]…P[z; ], 因此, 给 定 上 个 成 功 、 
7 -大 个 失败 的 有 序 集 的 概率 为 2 一 。 
例 1.9-1 (硬币 投掷 的 重复 试验 ) 假 定投 搓 硬 币 三 次 ,每 次 投掷 出 现 正 面 或 反面 的 概率 
分 别 为 D =P(H) 和 qd=P(T), 事件 |HTH| 的 概率 是 pgp =p*q。 事 件 |THH| 的 概率 也 是 p*q。 
下 面 列 出 了 两 次 正面 、 一 次 反面 的 不 同事 件 : 


Ei = {HHT} 
E> = {HTH} 
Es = {THH} 


如 果 下 表示 得 到 两 次 正面 一 次 反面 、 且 不 考虑 顺序 这 个 事件 , 那么 , 玉 =BlUEs,UEs。 由 于 对 
所 有 的 半天 7， Eib; = 中 ,所 以 ， PLF] =PLE',] +PLE;] +PlE;] =3p’g。 


将 前 面 的 结果 推广 到 由 n 次 伯 努 利 试验 构成 的 实验 , 样本 空间 02, 包含 WM =2 个 实验 结果 
a1, Qs，…, Qu， 其 中 每 个 a; 是 nn 个 符号 的 字符 串 , 每 一 个 符号 表示 成 功 或 失败 。 考 虑 事件 
Ai 和 4 在 多 次 试验 中 有 k 次 成 功 | , 令 带 一 撤 的 实验 结果 a; 表 未 次 成 功 、n -次 失败 的 字符 
串 , 那么 , 用 下 表示 在 包含 有 上 次 成 功 、n -失败 的 有 序 排列 数 , 可 得 

Ax = | J{a!} 


t=1 
为 了 确定 的 大 小 , 利用 类 似 于 在 证 明 式 (1. 8-6) 中 用 到 的 技巧 。 这 里 , 用 竖 线 表示 失败 ,用 
星 号 表示 成 功 , 例如 
表述 在 9 次 试验 中 5 次 成 功 , 顺序 为 fssfssffs。 有 多 少 次 这 样 的 排列 呢 ? 答案 可 由 式 (1.8-6) 
中 用 7=k 和 (mn 一 k) +k=%n 代替 (n -1) +7 给 出 (注意 , 没有 限制 第 一 个 符号 和 最 后 一 个 符号 
必须 是 竖 线 ) ,因此 
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= 人 (8 
由 于 1a;| 是 互 不 相交 的 , 即 对 所 有 的 关 7，| ai| mio = 中 , 由 此 可 得 
K K 
Ue -5 pl 
4=1 


最 后 , 由 于 无 论 s 和 f 是 什么 顺序 , P[ a'] =p*g”"“, 于 是 


PIAk]=P 





(1.9-1) 


二 项 式 概率 分 布 式 (1.9-1) 定 义 的 三 参数 函数 b(k; n, p) 称 为 二 项 式 概率 分 布 律 , 它 是 
在 nn 次 独立 的 伯 努 利 试验 中 次 成 功 的 概率 , 其 中 每 次 伯 努 利 试验 成 功 的 概率 为 p, 二 项 式 


系数 
0 


在 前 一 节 就 引入 了 , 它 是 从 容量 为 n 的 总 体 中 形成 容量 为 的 子 总 体 数 。 在 例 1.9-1 中 , 投掷 
硬币 三 次 , 总 体 容量 为 3(3 次 试验 ), 子 总 体 容量 为 2( 两 次 正面 ), 我 们 感 兴趣 的 是 在 三 次 试 
验 中 得 到 两 次 正面 ,而 不 考虑 出 现 正面 的 顺序 。 因 此 ,正确 的 结果 是 C; =3。 注 意 , 如 果 要 求 
前 两 次 投掷 中 出 现 正面 紧 跟 一 次 反面 的 概率 , 即 PLB,], 那么 , 就 不 能 用 系数 ,因为 这 一 事 
件 的 发 生 只 有 一 种 方式 。 

例 1.9-2 (从 维 中 抽出 2 个 球 ) 假 定 人 =4， 即 和 个 标 有 数字 (1 ~4) 的 球 ， 对 于 无 重复 的 
容量 为 2 的 可 辨识 的 有 序 样本 数 是 12,， 即 11, 21; 11,31; 11,41; 12,11; 12,31; 12， 

; 13,1}; 13,21; 13,41; {4,1}; NY 可 认识 的 无 序 集合 是 数字 6， 即 


由 式 (1.8-2) 可 直接 得 到 这 一 结果 , 即 (n=4, k=2) 


例 1.9-3 (二 元 脉冲 ) 每 秒 有 10 个 独立 的 二 元 脉冲 到 达 接 收 机 。 错 误 ( 即 “0” 接收 为 
1”,“1” 接 收 为 “0”) 概 率 是 0.001, 每 秒 至 少 有 一 个 错误 的 概率 为 多 少 ? 


解 
P[ 至 少 有 一 个 错误 / 秒 ] = 1-P[ 没 有 错误 / 秒 ] 


=1— | (0.001)°(0.999)'° = 1— (0.999)'° ~ 0.01 


思考 ”注意 到 
2》_b(k;m,p) 二 1 为什么? 
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例 1.9-4 (奇数 人 出 局 ) 有 一 组 奇数 的 人 , 他 们 要 组 织 两 支 球 队 进行 一 场 比 赛 , 每 支 球 队 
的 人 数 是 偶数 ,为 了 决定 哪个 人 出 局 担任 裁判 , N 个 人 中 的 每 一 个 按 下 列 规定 投 孝 均匀 硬币 ， 
如 果 有 一 个 人 的 结果 (正面 或 反面 ) 不 同 于 该 组 剩余 的 人 的 结果 ,此 人 将 会 是 裁判 , 假定 有 11 
个 人 ,那么 ,在 第 一 场 比赛 中 , 将 成 为 “奇数 人 出 局 ”人 的 概率 是 多 少 ? 

解 邻 已 A110H,， 1T|, 其 中 10H 意味 着 百 , H, …, H 十 次 , FA 110T, 1H|, 那么 ， 


EF=4, 且 
PIEUF|= PIE|+ PIF) 


-0B) (DOO 
10 2 2 J 2 2 
AS 0.010 74 

例 1.9-5 (继续 奇数 人 出 局 ) 在 例 1.9-4 中 推导 了 奇数 人 在 第 Nn 次 游戏 第 一 次 出 局 的 概 
率 的 计算 公式 (提示 : 考虑 将 每 次 游戏 看 成 独立 的 伯 努 利 试验 ,如 果 奇 数 人 出 局 发 生 为 成 功 ， 
否则 为 失败 ) 。 

解 令 互 表示 在 第 即 次 游戏 奇数 人 出 局 第 一 次 发 生 的 事件 , 令 玉 表示 在 ni -1 次 游戏 中 ， 
没有 奇数 人 出 局 的 事件 , 令 G 表示 在 第 nn 次 游戏 奇数 人 出 局 的 事件 ， 那么 

E= FG 
由 于 假定 玉 和 G 独立 是 完全 合理 的 ， 因此， 可 以 写成 
PIE] = PIFIPIG] 


P[F]| = 总 和 ') (0.0107)°(0.9893)"! = (0.9893)"™-! 


PIG] = 0.0107 
因此 , P[E] =(0.0107) (0.9893)”"!, n 宇 1, 常常 称 其 为 几何 分 布 D。 
例 1.9-6 (多 彩票 ) 如 果 要 购买 50 张 彩票 ， 是 应 该 在 一 种 彩票 中 购买 50 张 呢 ? 还 是 在 
50 种 类 似 的 彩票 中 各 买 一 张 ? 为 简单 起 见 ， 我 们 取 100 张 票 的 情况 ,每 张 票 的 价格 1 美元 ,有 
50 种 独立 的 彩票 可 供 选 择 。 首 先 ,考虑 从 这 样 一 种 彩票 中 购买 50 张 。 令 忆 ; 表示 第 i 张 彩票 
是 一 张 中 奖 彩票 ， 由 于 任何 一 张 彩票 都 有 可 能 是 中 奖 彩票 ， 且 一 张 票 顶 多 只 有 一 个 中 奖 人 ， 由 
经 典 概率 可 得 ,，P[ 媚 ] =nw/nw =1/100, 1=1,…, 100。 赢 得 彩票 这 个 事件 是 购买 的 50 张 
彩票 中 有 一 张 是 中 奖 彩票 ， 即 等 效 于 用 万 表示 50 张 彩票 中 有 一 张 是 中 奖 的 ,已 = UE 和 
PIE] = PLU%E,] = 于 ”PIE,] = 50 x1/100 = 0.5。 其 次 , 考虑 在 50 种 不 同 彩票 中 各 买 
一 张 这 种 情况 。 我 们 把 它 看 成 单 次 成 功 概率 为 p=0.01 和 9=0.99 的 伯 努 利 试验 。 借 助 于 计 
算 器 ,可 以 求 出 一 次 中 奖 的 概率 为 
P[ 一 次 中 奖 ] = b(1; 50, 0.01) 


(1) (0.01)1(0.99)9 


= 50 x 10-2 x 0.611 
= 0.306® 





@@ 关于 这 一 定义 的 流行 的 变形 是 另 一 几何 分 布 , 即 pq”, n=0, 其 中 g=1-p, 0<p<1。 
@@ ”等 号 上 加 一 点 表示 小 数 点 的 数字 是 近似 的 。 
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类 似 地 ,两 次 中 奖 的 概率 为 6(2; 50, 0. 01) 二 0. 076, 三 次 中 奖 的 概率 为 6(3; 50, 0.01) = 
0. 012, 四 次 中 奖 概率 为 6(4; 50, 0.01) 二 0. 001, 更 多 次 中 奖 的 概率 就 可 以 忽略 不 计 了 。 我 们 
很 容易 计算 出 至 少 中 奖 一 次 的 概率 为 
P| 至 少 中 奖 一 次 ] = 1 一 P[ 每 次 都 失败 ] 
和 050 
=1— (0.99)5°0 
二 0.395 
实际 上 , 我 们 有 0.395 =0.306 +0.076 +0.012 +0.001。 因 此 ， 如 果 你 只 关心 至 少 一 次 中 奖 的 
话 ,， 最 好 是 从 一 种 彩票 中 购买 所 有 的 50 张 。 另 一 方面 , 当 你 在 不 同 彩票 中 购买 时 ， 就 有 多 次 
中 奖 的 可 能 。 所 以 更 需要 关注 平均 赢得 的 奖金 。 假 定 一 个 公平 的 彩票 支付 100 美元 , 我 们 可 
以 计算 出 平均 赢得 的 奖金 是 
100 x 0.306 + 200 x 0.076 + 300 x 0.012 十 400 x 0.001 
二 49.8 
所 以 ,根据 平均 赢得 的 奖金 , 这 是 一 个 相同 的 方法 。 


二 项 式 概率 分 布 的 进一步 讨论 先 列 出 一 些 公式 以 便 进一步 使 用 。 在 n 次 试验 中 成 功 小 
于 等 于 次 的 概率 为 


k 


k 
B(k;n,p) = >》, b(i;n,p) = > (7) Dom 一 (1.9-2) 
i=0 


i=0 


符号 B(k; nn, p) 称 为 二 项 式 分 布 函数 , 在 n 次 试验 中 , 成 功 大 于 等 于 k 次 的 概率 为 
2 =1— B(k— 1;n,p) 
成 功 大 于 等 于 次 但 小 于 j 次 的 概率 


> bi pp) = B(jyth p) = Bl B) 
i=k 十 1 


在 后 面 的 章 中 , 有 更 多 分 布 函 数 的 讨论 , 例 1.9-7 给 出 一 个 这 些 公 式 应 用 的 例子 。 

例 1.9-7 (导弹 攻击 )5 发 导弹 发 射 攻击 海上 的 航空 母 舰 ， 至 少 有 2 发 命中 的 话 将 使 航母 
沉没 , 所 有 5 发 导弹 都 处 于 正确 的 轨道 上 , 但 必须 通过 航母 的 “点 防御 ” 枪 的 拦截 , 我 们 知道 
“点 防御 ” 枪 能 够 以 概率 p =0.9 氛 毁 导弹 ， 在 航母 遇 到 导弹 攻击 后 仍 能 飘浮 在 水 面 的 概率 是 
多 少 ? 

解 令 马 表示 航母 仍 漂浮 在 水 面 的 事件 , 玉 表 示 导 弹 穿 过 “点 防御 ” 枪 的 事件 ， 那么 

PIF] = 0.1 


=1- 5 (5) Ovo i ~ 0.92 


;一 2 
多 项 式 概率 分 布 
多 项 式 概率 分 布 是 二 项 式 概率 分 布 的 推广 , 二 项 式 概率 分 布 是 基于 只 有 两 个 实验 结果 的 
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伯 努 利 试验 ,而 多 项 式 概率 分 布 是 将 伯 努 利 试验 推广 到 多 【个 可 能 的 实验 结果 。 因 此 , 考虑 一 
个 基本 实验 , 它 是 由 一 个 具有 天 个 可 能 的 实验 结果 刀 , 所 ，…, 的 单一 试验 构成 , 令 实 验 结 
果 6; 的 概率 是 p;(i=1, …, L), 那么 


/ 
Di 二 0， 区 全 (1.9-3) 
t= 


假定 将 这 一 推广 的 伯 努 利 试验 重复 nn 次 , 考虑 一 个 预先 规定 的 由 基本 实验 结果 的 有 序 字符 串 
构成 的 事件 , 在 有 序 字符 串 中 ,出现 次 , & 出 现 思 次 , 以 此 类 推 , 直到 & 出 现 7, 次。 这 
个 事件 的 概率 是 多 少 ? 这 里 的 关键 是 预先 规定 的 顺序 。 例 如 , 1 = 3( 三 个 可 能 的 实验 结果 ) ， 
n =6(6 次 试验 ) ,预先 规定 的 字符 申 是 Cito2latbz,， 即 7 =2, 7 =3, 73 =1, 注意 到 了 ， ,7 =n， 


由 于 每 次 试验 的 结果 是 独立 的 , 预先 规定 的 有 序 字 符 串 的 概率 是 p?p?…p”, 因此 , 字符 串 的 
VLalzlol1l2 的 概率 是 pip2ps。 
如 果 顺 序 没 有 指定 , 得 出 的 概率 也 不 同 。 假 定 将 推广 的 伯 努 利 试验 重复 n 次, 考虑 如 出 


现 7 次 , 5 出现 7, 次 , 等 等 , 不 考虑 顺序 。 在 计算 这 个 事件 的 概率 之 前 ， 先 看 一 个 例子 。 

例 1.9-8 (繁忙 的 紧急 号 码 ) 为 了 报告 一 个 和 急诊 去 呼叫 “ 救 你 生命 "健康 服务 机 构 ， 有 三 
件 事 之 一 可 能 会 发 生 : 

(1) 占 线 (事件 |) 

(2) 号 码 错 了 (事件 五 。) 

(3) 接 通 了 值班 护士 (事件 忆 ,) 

假定 P[E,] =p;, 在 不 同时 间 5 次 不 同 的 急诊 中 , 初始 呼叫 遇 到 4 次 忙 音 , 1 次 拨 错 号 码 
的 概率 是 多 少 ? 

解 ” 令 所 表示 4 次 遇 到 忙 音 、1 次 拨 错 号 码 的 事件 ,那么 

F=FIUF>UFsUFsUFs, 其 中 全 = {EiEB1E1E1bE2} 
Fy = {BIBIB EBi}, Fs = {BPIE2PIE}, Fy = {B11E2B1ELE)} 
和 
Fs = {B21E1ELE!} 
由 于 FF =g$, PLF] = 5iiPLF], 而 PLF,] =2D122203 独立 于 ， 因 此 
PI[F] = 5p1p3p3 
假定 pl =0.3, ps =0.1, p3 =0.6,， 则 
PI[F|]=5x8.1x10 3x0.1x1=0.004 


在 这 类 问题 中 , 我 们 必须 对 长 度 为 n 的 所 有 字符 串 计数 , 刀 出现 7 次, bi 出现 7 次 , 等 等 。 
在 前 面 的 例子 中 , 有 5 个 这 样 的 字符 串 。 一 般 情况 下 , n 次 试验 中 , 实验 结果 出 现 7 次 , 实验 
结果 i 出 现 7。 次 ， 等 等 ， 有 
nl 


(1.9-4) 


Tri!l72!.- .ri! 
这 样 的 字符 串 。 在 例 1.9-8 中 ， w= 和 =4， 72 三 下 73 =0， 所 以 
5! 
A1110! 
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式 (1.9-4) 称 为 多 项 式 系数 。 为 了 证 明 这 个 系数 , 考虑 7 个 实验 结果 总 ,在 郊 次 试验 中 , 放置 
六 个 实验 结果 的 方法 数 与 容量 为 7 的 总 体 中 容量 为 的 子 总 体 的 个 数 | 相同, 剩 下 的 


-六 次 试验 ,我 们 去 放置 六 个 实验 结果 局 ， 这 样 的 方法 数 是 | ,重复 这 一 过 程 ， 得 到 的 
总 的 可 辨识 排列 是 


n 7 一 71 禾 一 殉 一 充 : 一 和 -1 nl! 
7 72 Tl 711721 .7 


例 1.9-9 (重复 推广 的 伯 努 利 试验 ) 考 虑 4 次 重复 的 推广 的 伯 努 利 实 验 ， 实验 结果 是 * ， 

. ,0， 得 到 两 个 *， 一个. 和 一 个 0 的 总 数 是 多 少 ? 
4 

解 在 4 次 试验 中 ， 得 到 两 个 * 的 总 数 是 | 。] =6， 如 果 把 两 个 坚 线 之 间 的 空格 表示 1 次 试 

验 , 那么, 我 们 可 以 表示 实验 结果 为 
xq] | | 
罗 1 

在 两 个 剩余 的 单元 中 放置 ， 的 方法 数 是 [ 1 ] -2， 在 剩 下 的 一 个 单元 中 放置 0 的 方法 数 是 [ ] = 
因此 ,总 的 排列 是 6 .2 .1 =12, 它们 是 








©®@ OO®@ Ox x ¥X x XX 关 
OX + ¥x x* OO Xx OO 
关 其 恒基 区 尖 关 SS 己 @ 
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下 面 讨论 多 项 式 概率 分 布 , 考虑 一 个 推广 的 伯 努 利 试验 , 实验 结果 为 ,Zs，…, bi, 令 观 
测 到 的 概率 为 p;, i=1, …, 1 其 中 P, 0 和 及，,p; = 1, 在即 次 试验 中 心 发 生 六 次 、 刀 
发 生 六 次 , 等 等 , 这 一 事件 发 生 的 概率 为 


Wa Mp nt 
Fr mp p2” :Dl (1.9-5) 
其 中 r 和 p 是 1 元 组 , 它们 的 定义 为 
1 
7 一 (rr2 ur) p=(pup2 Pp), Dri=n 
i=1 


注意 : 令 1=2, 式 (1.9-5) 变 成 了 二 项 式 概率 分 布 , 其 中 pi AD, ps 人 1 -D, 7 人 Ak 和 ?7s An Kk。 
像 式 (1.9-1) 和 式 (1.9-5) 这 样 的 函数 常 称 为 概率 质量 函数 。 
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例 1.9-10 (紧急 呼叫 ) 在 美国 , 911 是 一 个 呼叫 救护 车 、 警 察 或 消防 部 门 的 号 码 , 在 纽约 
州 北部 的 喧 露 城市 尼 尔 瓦 纳 ， 人 们 发 现 60% 的 911 是 呼叫 警察 , 25% 呼叫 救护 车 , 15% 呼叫 消 
防 部 门 ， 我 们 观察 下 10 个 呼叫 , 6 次 呼叫 警察 、3 次 呼叫 救护 车 和 1 次 呼叫 消防 部 门 这 样 一 个 
组 合 事件 的 概率 是 多 少 ? 
解 ” 利 用 式 (1.9-5)，, 可 得 到 
P(6,3, 1; 10, 0.6, 0.25, 0.15) 
__10L 
6!3!1! 


如 果 即 变 得 很 大 , 会 出 现 一 个 数值 问题 。 例 如 , 假定 考察 100 次 呼叫 , 认为 60 次 呼叫 警 
察 、30 次 呼叫 救护 车 、10 次 呼叫 消防 部 门 , 显然 需要 计算 1001, 601! 和 301! 这 样 的 数 , 这 时 需 
要 注意 , 帮助 我 们 计算 这 样 大 的 阶乘 的 一 个 很 重要 的 结果 就 是 斯 特 林 ( Stirling) 公式 


1/2n.n+(1/2)e—n 


(0.6)5(0.25)3(0.15)1 ~ 0.092 


nl ~ (27) 
其 中 近似 随 着 n 的 增加 而 改善 , 例如 
n nl 斯 特 林 公式 ”误差 百分率 


1 1 0. 922137 8 
10 3628800 3598700 0.8 
当 使 用 计算 机 计算 式 (1.9-5) 时 , 要 注意 由 于 溢出 而 损失 精度 ,使 用 对 数 对 大 的 和 小 的 数字 是 


有 帮助 的 。 
正如 前 面 所 述 , 二 项 式 概率 分 布 是 多 项 式 概率 分 布 的 一 种 特殊 情况 , 也 是 最 重要 的 一 种 情 

况 ， 当 二 项 式 概率 分 布 的 参数 达到 极端 值 时 , 二 项 式 分 布 能 够 用 来 产生 另 一 种 重要 的 分 布 ,这 

将 在 下 面 进行 探讨 。 

1.10 二 项 式 概率 分 布 的 渐 近 特性 : 泊 松 分 布 


假定 在 二 项 式 函 数 b(k; n, p) 中 , n 污 1, p <1, 但 是 np 保持 一 个 常数 ,如 np = 人 ， 


q=1 -p, 因此 
i A 
(2)? 是 一 网 加 Fa (1 - 


其 中 ,如果 允许 变 得 足够 大 , 而 保持 固定 , 则 n(n -1)…(2 -天 +1) 二”, 因此 , 在 n 一 %， 
p 一 0 和 之 n 的 极限 情况 下 , 可 得 到 





LN\n—k 大 
b(k;n,p) ST 二 上 (1 一 < ) 98 Fa (1.10-1) 
这 样 ,二 项 式 概 率 分 布 在 应 用 到 双关 1, p <<1 而 np =h 是 一 个 有 限 的 常数 的 情况 时 
b(k;n,p) 迟 Bort (1.10-2) 


泊 松 定律 ”参数 为 1 的 泊 松 概率 分 布 为 





”James Stiring, 18 世纪 的 数学 家 。 
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p(k) = 0 
不 像 二 项 式 概 率 分 布 , 泊 松 概率 分 布 刚好 有 一 个 可 取 任 何 正 值 的 参数 j/。 


例 1.10-1 (故障 时 间 ) 一 人 台 计 算 机 有 10 000 个 器 件 , 每 个 器 件 的 失效 是 独立 于 其 他 器 件 
的 ， 且 每 个 器 件 每 年 失效 概率 是 10“, 计算 机 开机 后 连续 工作 一 年 的 概率 是 多 少 ? 假定 如 果 
一 个 或 多 个 器 件 失 效 计算 机 就 不 能 工作 。 
解 
p= 10-4, n = 10 000, k= 0， np=1 
因此 


i 
b(0;10 000 10 一 ) = 一 e =- = 0.368 
0! e 
例 1.10-2 (随机 点 的 时 间 ) 假 定 即 个 独立 的 点 随机 放置 在 (0, T) 上 , 令 0<ti<t<T 和 
一 AT, 令 7T/T<1l 和 n>1, 在 7 秒 中 精确 地 观测 到 无 个 点 的 概率 是 多 少 (参见 图 1.10-1)? 
解 ”考虑 单个 点 随机 放置 在 (0, T) 上 , 点 出 现在 7 的 概 府 为 7/T。 令 p=7T/T, 每 个 其 他 
的 点 在 了 秒 出 现 的 概率 也 相同 , 因此 , 在 了 秒 内 发 现 k 个 点 的 概率 是 二 项 式 概 率 分 布 


P[ 在 了 秒 有 天 个 点 ] = 的 prg™* (1.10-3) 
当 n 污 1 时, 利用 近似 式 (1.10-1), 得 
nT\K e—(n7/T) 
b(k:n,p) 久 (¥) 一 站 一 (1. 10-4) 


其 中 ?了 可 以 解释 为 每 单位 区 间 上 的 “平均 ”点 数 。 


EA A A | 
0 6 T 
图 1.10-1 将 点 随机 放置 在 一 条 线 上 , 每 个 点 等 可 能 地 放置 在 线 的 任何 地 方 
在 本 例 中 用 参数 (uw >0) 代 替 平 均 率 , 我 们 得 到 如 下 泊 松 分 布 


大 
PIk 个 点 ] = eB (1. 10-5) 
其 中 k=0, 1, 2, …, JAAT, 其 中 入 是 每 个 单位 时 间 的 平均 点 数 了 , 7 是 区 间 (t, t+7] 的 长 
度 , 在 流逝 的 时 间 7 中 有 天 个 点 的 概率 是 


ji 起 二 二 着 二 a (1.10.6) 

对 于 泊 松 概率 分 布 , 我 们 也 规定 在 不 相连 接 的 时 间 间 隔 中 到 达 的 点 数 构成 独立 事件 。 可 以 把 
这 个 看 成 继承 了 伯 努 利 试验 构成 的 集合 的 特性 , 伯 努 利 试验 总 是 独立 的 。 

在 式 (1. 10-6 ) 中 , 假定 入 是 常数 , 不 是 二 的 函数 。 如 果 和 随 t 变 化 , 可 以 用 积分 


[A(w) qu 代替 A7, 在 区 间 (t,t+7] 上 有 个 点 的 概率 为 








@ 这 里 术语 点 是 一 个 基本 术语 , 等 价 的 术语 可 以 是 “到 达 ”、“ 命 中 "和 “出 现 ”。 
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t 十 了 t+ 上 
A qu | A(wau| (1.10-7) 
泊 松 概率 分 布 P[ 在 Ax 上 有 天 个 事件 ]、 或 者 更 一 般 的 情况 是 已 在 (z, 2Z+Az) 上 有 天 个 事 
件 ] 在 工程 和 科学 中 有 广泛 应 用 , 其 中 可 以 是 时 间 、 体积 、 距 离 , 等 等 ,Ax 是 与 有 关 的 区 
间 。 下 面 列 出 了 在 各 领域 中 服从 泊 松 概率 分 布 的 典型 情况 : 

物理 学 : 在 放射 性 衰变 中 , P[ 在 7 秒 中 的 k 个 a 粒子 ] 服从 参数 为 A 的 泊 松 分 布 , A 代表 

每 秒 发 射 a 粒子 的 平均 数 。 

工程 : 在 设计 一 个 呼叫 中 心 的 容量 时 , P[ 在 7 秒 中 的 电话 呼叫 次 数 k] 服从 参数 为 A 的 泊 

松 分 布 , 其 中 入 代表 每 秒 的 平均 呼叫 次 数 。 

生物 医学 : 在 水 污染 监控 中 , P[ 在 1000 cm 中 的 大 肠 杆菌 细菌 数 k] 服 从 参数 为 A 的 泊 松 

分 布 , 其 中 为 每 立方 厘米 中 的 平均 大 肠 杆 菌 细菌 数 。 

交通 : 在 设计 高 速 公路 收费 站 的 容量 时 , PL7 分 钟 内 到 达 的 汽车 数 如 服从 参数 为 的 泊 

松 分 布 ,其 中 入 为 每 分 钟 的 平均 汽车 数 。 

光学 : 在 设计 光子 接收 机 时 , P[ 在 表面 A 上 每 秒 光 子 数 k] 服 从 参数 为 入 的 泊 松 分 布 , 其 

中 和 为 每 单位 面积 上 每 秒 的 平均 光子 数 。 

通信 : 在 设计 光纤 的 光 发 射 机 -接收 机 链 路 时 , PL1 s 内 接收 机 产生 的 光电 子 数 k] 服 从 参 

数 为 的 泊 松 分 布 , 其 中 入 为 每 秒 的 平均 光子 数 。 

参数 和 也 常常 称 为 泊 松 率 参 数 , 它 的 度量 是 每 个 单位 区 间 上 的 点 , 区 间 可 以 是 时 间 、 距 
离 、 体 积 , 等 等 。 当 我 们 希望 采用 的 泊 松 概率 分 布 的 形式 是 式 (1.10-6) 和 式 (1.10-7) 时 , 我 们 
说 是 服从 率 参 数 A 或 率 函 数 为 A(t) 的 泊 松 分 布 。 

例 1.10-3 (概率 的 误 用 )(a) 用 下 面 的 数据 证 明 地 球 外 的 字 窗 肯定 有 生命 ,平均 每 一 个 
星系 的 恒星 数 为 300 x10”, 而 星系 有 100 x10" 个 , 每 一 个 恒星 有 一 个 行星 系统 的 概率 为 0.5， 
平均 每 个 行星 系统 的 行星 数 是 9 颗 , 行星 能 维持 生命 的 概率 为 1/9, 在 能 维持 生命 的 行星 上 出 
现 生命 的 概率 是 10 下 。 

解 首先 计算 能 维持 生命 的 行星 数量 Nls 

mLs = 300 x 10° x 100 x 10° x 0.5x 9 x 1/9 


PEt, t+7) = Dp |-| 
t 


= 1.5 x 1022 

接着 , 用 a =nisp =1.5 x102 x10 2 时 二 项 式 的 泊 松 近似 计算 地 球 外 无 生命 的 概率 ， 得 
(1.5 x 102) 7 15xloto 
>” 和 
因此 , 我 们 刚好 证 明了 地 球 外 有 生命 的 概率 为 1， 即 这 是 一 个 肯定 的 事情 。 注 意 , 其 他 行星 上 
出 现 生命 的 概率 是 10-”“, 非常 低 的 数字 。 

(b) 现 在 除了 将 维持 生命 的 星球 出 现 生 命 的 概率 降 到 10-”, 其 他 使 用 同样 的 数字 , 证 明 
地 球 外 有 生命 是 极 不 可 能 的 事情 。 

解 用 a=1.5 x10 x10 ”=1.5 x10 习 时 二 项 式 的 泊 松 近似 , 得 到 地 球 外 无 生命 的 概率 为 


b(0,1.5 x 1022 ,10-22) = 0 





@@ 所 有 数据 引 自 不 同时 期 外 星 生命 支持 者 提供 的 数据 。 
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{1.5 x IO YD 01Ds 
0 
Sl1—(15x10 8)1 

其 中 ,我们 利用 了 近似 关系 ， 对 于 小 的 Y，e 一 ~1 -2 

于 是 ， 可 看 到 , 仅仅 改 了 一 个 数字 ,就 从 证 明 宇 宙 包 含有 地 球 外 生命 , 变 成 了 证 明 除了 我 
们 自己 外 宇宙 是 无 生命 的 。 概 率 误 用 的 原因 在 于 ,当前 我 们 并 不 了 解 从 无 生命 的 物质 导致 生 
命 出 现 的 因素 是 什么 。 当 计算 从 技术 讲 是 正确 的 时 候 , 这 个 例子 说 明 : 当 使 用 人 为 的 数字 去 证 
明 或 不 证 明 什 么 的 时 候 ， 本 质 上 是 看 你 信仰 或 相信 什么 。 

例 1.10-4 (网 站 服务 器 ) 一 个 网 站 服务 器 平均 每 分 钟 收 到 16 个 存 取 请 求 。 如 果 服 务 器 


每 分 钟 最 多 能 够 处 理 24 个 存 取 ，, 那么 , 在 任何 一 分 钟 内 网 站 饱和 的 概率 是 多 少 呢 ? 
解 ” 如 果 一 分 钟 内 的 请 求 数 超过 24 次 就 出 现 饱和 ， 这 个 事件 的 概率 是 


b(0, 1.5 x 1022,10-30) = 


Do 








一 和 信 T 
P[ 饱 和 ] = 之 ,bn (1. 10-8) 
oo 6 
= 》， [16]*= ~ 0.017 s 1/60 (1.10-9) 
k=25 


因此 ,大 约 每 60 分 钟 会 有 一 个 访问 者 被 拒绝 。 


知道 了 泊 松 分 布 在 工程 和 科学 中 的 许多 应 用 后 ， 人 们 或 许 会 认为 泊 松 分 布 的 “高 贵 出 生 ” 只 是 
二 项 式 分 布 的 极限 。 确 实 是 这 样 , 一 旦 给 出 三 个 假定 , 泊 松 分 布 就 可 以 推导 出 来 。 显 然 , 这 三 个 假 
定 只 是 物理 过 程 特性 的 一 种 合理 的 描述 。 幸 运 的 是 , 这 些 假定 在 许多 情况 下 似乎 是 相当 有 效 的 。 
为 了 更 具体 一 点 , 我 们 将 讨论 在 时 间 ( 或 者 长 度 、 距 离 ) 上 发 生 的 事情 。 泊 松 分 布 基于 下 
面 三 个 假定 : 
1. 在 (t, t+At] 中 一 个 事件 发 生 的 概率 正比 于 At， 即 
P(1;t,t+ At) NN A(t)At, At 一 0 (1. 10-10) 
在 式 (1. 10-10) 中 , A(t) 是 泊 松 率 参数 。 
2. 在 (tt+Ati 中 出 现 上 (CE >1) 个 事件 的 概率 趋 于 零 
Pitt+Ahs0 At 一 0， k= 2,3,..- (1.10-11) 
3. 在 不 重 符 的 时 间 区 间 上 的 事件 是 统计 独立 的 了 。 
从 这 三 个 简单 的 物理 假设 开始 , 要 得 到 泊 松 概率 分 布 是 一 个 简单 的 事情 了 。 我 们 把 推导 
留 到 第 9 章 , 这 里 只 是 指出 , 这 些 假设 的 运用 导出 基本 的 结果 ， 即 一 阶 差 分 方程 , 它 的 解 是 泊 
松 分 布 。 式 (1.10-7) 给 出 了 一 般 的 解 , 但 幸运 的 是 , 在 许多 实际 情况 下 , 泊 松 率 参数 A(t) 能 
够 用 一 个 常数 入 来 近似 , 这 种 情况 下 , 式 (1. 10-6) 可 以 应 用 。 下 面 用 最 后 一 个 例子 来 总 结 这 
一 节 的 内 容 。 
例 1.10-5 (数字 磁带 的 瑕 疯 ) 计 算 机 磁带 的 制造 商 发 现 ， 沿 磁带 长 度 方 向 的 瑕 病 密度 是 
不 均匀 的 ,在 对 数据 的 仔细 编辑 后 发 现 ,长 度 为 万 的 一 条 磁带 ， 瑕 疫 密 度 A(X) 沿 磁带 长 度 公 





@ ”注意 , 在 性 质 3 中 我 们 谈论 的 是 互 不 重 倒 的 时 间 间 隔 , 而 没有 交集 的 事件 ( 互 斥 事件 )， 对 于 没有 交集 的 事件 ,概率 应 该 
相 加 。 而 对 于 互 不 重症 的 时 间 间 隔 , 将 导致 泊 松 律 的 独立 事件 , 概率 应 相 乘 。 
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的 变化 为 


1 2 
A(z) = Ao + 5M1— Xo) (+ems | 办 |)， Al > 和 0 


其 中 0<x<D, 在 边缘 X=0 和 X=D 磁带 的 瑕 盖 更 大 一 些 。 

(a) 在 这 种 情况 下 , 和 A(X) 是 什么 意思 ? 

(b) 长 度 为 DD 的 磁带 的 瑕 疯 平 均 数 是 多 少 ? 

(c) 长 度 为 万 的 磁带 的 瑕 疲 天 的 表达 式 是 什么 ? 

(d) 在 本 例 中 的 泊 松 假设 是 什么 ? 

解 

(a) 记 住 , A(Z) 是 瑕 疯 密 度 ， 即 处 的 每 单位 长 度 上 的 平均 焉 疫 数 ， 因 此 我 们 得 出 结论 ， 
A(X)AX 是 磁带 从 XX 到 w+AX 的 平均 瑕 竟 数 。 

(b) 根据 A(Y) 的 定义 ,可 得 出 结论 , 沿 整 个 磁带 的 平均 瑕 盖 数 只 是 和 (YX) 的 积分 ， 即 

| 入 (Z)dz = | 区 一 > (A 一 入 0) (4 十 COs 办 )| dz 


_ Ao 十 和 Al 


D 
5 
会 人 


(c) 假定 泊 松 定律 成 立 , 利用 式 (1.10-7), 其 中 用 和 Ar( 距 离 ) 分 别 代替 上 和 T( 时 间 )， 因 此 


Tr 十 Ar 1 TYr 十 Arz k 
Pl(k;7,7T + Az) = exp - | Mad| 而 | Mo 


特别 是 在 X=0 和 w+AXx=D 时 , 可 得 到 


—A 
P(k:;0, D) = A 


其 中 A 在 上 面 已 经 定义 。 
(d) 在 本 例 使 用 了 三 个 泊 松 假设 : 
(i) 当 Ax—0 时 , P[1; z,Z+AZ]=A 入 (Z)Az。 
(ii) P[k; xX, xX+AX] =0, AX 一 0, k=2,3,…, 即 在 区 间 (x, 2 +AX) 上 超过 一 个 以 
上 瑕 疯 的 概率 随 Aw 趋 于 零 而 变 成 零 。 
(这 ) 在 磁带 非 重 登 部 分 出 现 瑕 疯 的 事件 是 独立 的 。 


1.11 二 项 式 分 布 近似 为 正 态 分 布 


在 本 节 , 我 们 不 加 证 明 地 给 出 二 项 式 概率 分 布 和 二 项 式 和 的 一 个 数值 近似 。 令 S 表示 在 
n 次 伯 努 利 试验 中 由 次 成 功 组 成 的 一 个 事件 , 那么 , 左 的 概率 服从 二 项 式 分 布 


PLlSk] = (2) pg" “=b(kn,p), O<k<n (1.11-1) 


对 于 大 的 n 和 的 值 , 式 (1.11-1) 可 能 难以 数值 计算 。 此 外 , 事件 |k, < 成 功 数 <ks| 的 概率 
可 能 包含 许多 项 ,直接 计算 概率 Pik, < 成 功 数 <k| 是 很 困难 的 。 幸 运 的 是 , 对 于 大 的 nn, 我 
们 能 够 用 近似 的 方法 计算 这 个 概率 。 这 些 近 似 的 方法 包括 了 所 谓 的 正 态 或 高 斯 分 布 。 
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正 态 分 布 和 它 的 意义 将 在 第 2 章 以 及 本 书 的 随后 几 章 中 详细 讨论 , 这 里 只 是 用 它 来 帮助 
计算 二 项 式 概率 , 在 这 里 我 们 定义 一 个 函数 .fs (xX) , 称 为 标准 正 态 分 布 





fsN (7) -5 exp (-37") (1.11-2) 
V2T 2 
它 的 积分 称 为 标准 正 态 累积 分 布 函数 
FSN(Z) = | exp (-3”) dy (CL, Lk8y 
当 n 很 大 时 , 可 以 证 明 呈 7 
1 ， /kn 
B(k;n, p) 及 su (1.11.4) 


当 npq >1 时, 近似 的 效果 变 得 更 好 。 在 表 1. 11-1 中 重新 给 出 了 近似 的 结果 " ,其 至 
在 npg =1.6 这 样 的 情况 , 近似 的 效果 也 是 相当 好 的 。 当 n >>1, k, 和 ks 固定 为 整数 , 那么 和 
的 近似 为 





Ka 一 720 十 0.5 ki—np—0.5 
P| 类 过 ja| 罗 : 尼 F 
[fa < 成 功 数 < 2] SN | i | SN | | (1.11-5) 


对 于 不 同 的 值 m, p, 态 , 应 , 近似 结果 在 表 1. 11-2 给 出 , 这 些 结果 引 自 参考 文献 [1.8] 。 
表 1.11-1 选 定 数 后 用 正 态 分 布 去 近似 二 项 式 分 布 





k bl( k; 10, 0.2) 正 态 近似 
0 0. 1074 0. 0904 
1 0.2864 0.2307 
2 0.3020 0.3154 
3 0.2013 0.2307 
4 0. 0880 0. 0904 
5 0. 0264 0. 0189 
6 0. 0055 0. 0021 


表 1.11-2 用 正 态 近似 计算 事件 的 概率 ( 引 自 参 考 文献 [1-8] ) 





n p Cr B P[a< S, <B] 正 态 近 似 
200 0.5 95 105 0.5632 0.5633 
500 0.1 50 55 0.3176 0.3235 
100 0.3 12 14 0.000 15 0. 000 33 
100 0.3 27 29 0.2379 0.2341 
100 0.3 49 51 0.000 05 0.000 03 


在 采用 正 态 近 似 时 , 应 该 参考 表 2. 4-1, 在 表 2.4-1 中 , 给 出 的 函数 为 erf(x) 而 不 是 Fsv(zZ)， 
erf(Z) 定 义 为 


A 1 0 
二 3 





erf(z) | 。 e 二 dy 
然而 , 很 容易 证 明 
Fsn(7)= 吉 +erf(x), xz>0 (1.11-6) 


和 
FSsN (z) = 1—erf(lz|), z<0 (1.11-7) 
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1 一 2 -0.5 A Kz -np +0.5 


A 已 / 铺 > 
二 >a', 我们 





可 以 根据 表 的 值 计算 式 (1.11-5) , 因此 , 用 as 


就 可 以 利用 表 1. 11-3 的 结果 。 

正 态 近 似 在 计算 泊 松 和 时 也 是 有 用 的 。 例 如 , 像 式 (1. 10-9) 这 样 的 求 和 ,如果 直接 计算 是 
非常 繁琐 的 。 然 而 , 如 果 Ar >1, 就 可 以 使 用 正 态 去 近似 泊 松 分 布 , 它 只 是 正 态 去 近似 二 项 式 
分 布 的 简单 扩展 。 这 种 近似 是 我 们 所 期 望 的 , 因为 我 们 已 经 看 到 , 泊 松 分 布 自 身 就 是 在 某 种 条 
件 下 对 二 项 式 分 布 的 近似 。 从 以 上 给 出 的 结论 , 能 够 证 明 下 列 近 似 : 





3 ‘ 2 
py 0 em (1.11-8) 
k=a 局 V2™ li 2 
其 中 
2 人 
和 
) 全 cG 一 AT 一 0.5 
一 
VAT 
男 一 个 有 用 的 近似 为 
x AT Lh 1 3 
其 中 
1 A kk 一 AT 二 0.5 
4 yp 
和 


1 A k—AT—0.5 
3 三 一 
例如 , 当 Ar =5, k=5, 式 (1.11-9) 用 正 态 近似 的 误差 小 于 1% 。 


小 结 


在 本 章 , 我 们 复习 了 概率 的 不 同 定义 , 给 出 了 概率 的 公理 化 理论 , 并 且说 明了 对 于 随机 实 
验 , 要 求 有 三 个 重要 的 目标 : 样本 空间 Q2、 事件 的 .9 域 和 概率 测度 P。 数 学 元 组 (0, 9, 了) 称 
为 概率 空间 7 

我 们 介绍 了 一 些 重要 的 术语 , 如 独立 、 非 独立 、 复合 事件 、 条 件 概 率 等 。 并 且 给 出 了 一 些 
能 够 应 用 的 关系 。 

我 们 讨论 了 组 合 的 一 些 公式 , 并 且 简 要 说 明了 在 理论 物理 中 的 重要 性 。 接 着 讨论 了 二 项 
式 概 率 分 布 及 其 他 的 推广 一 一 多 项 式 分 布 。 我 们 看 到 ,二 项 式 分 布 在 某 些 极 限 条 件 可 以 用 泊 
松 分 布 近似 , 作为 概率 论 中 心 极 限定 理 之 一 , 泊 松 定律 在 科学 和 工程 中 有 着 广泛 的 应 用 。 泊 松 
分 布 能 够 直接 从 简单 合理 的 物理 假设 推导 出 来 , 详细 的 验证 放 将 在 第 9 章 中 讨论 。 

我 们 提供 了 用 正 态 分 布 去 近似 二 项 式 分 布 和 泊 松 分 布 。 在 第 4 章 中 讨论 工程 中 感 兴起 的 
入 住 问题 时 将 再 次 用 到 这 些 近似 关系 。 
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习题 
(* 星 号 的 习题 是 一 些 较 难 的 题目 , 可 能 需要 多 做 些 工 作 , 或 者 需要 附加 的 阅读 。) 
1.1 对 于 像 “ 拉 尔 夫 (Ralph) 可 能 犯 有 盗窃 罪 "这 样 的 语句 ， 从 相对 频率 的 概率 意义 上 需要 什么 样 的 数据 ? 
1.2 在 应 用 概率 中 (数学 中 一 个 分 支 , 称 为 统计 学 ) 常 常 涉及 到 检验 尸 一 Q( 己 意味 着 @) 类 型 的 语句 , 例如 ， 
如 果 她 抽烟 , 那么 她 有 可 能 得 病 ;如 果 她 聪明 , 她 在 学 校 就 会 表现 得 好 。 给 你 四 张 牌 , 每 张 牌 在 一 边 上 
有 个 字母 ， 而 另 一 边 上 有 个 数字 , 要 求 你 测试 一 个 规则 “如 果 有 牌 一 边 是 D, 另 一 边 是 3 ,你 应 该 翻转 下 面 
牌 中 的 哪 一 张 来 验证 规则 的 真实 性 。 
D 全 3 ] | 了 | 
Card 1 Card 2 Card 3 Card 4 
这 里 要 仔细 一 点 。 
1.3 在 一 个 转 轮 游戏 中 , 转 轮 包含 数字 1 ~9, 如 果 转 到 偶数 , 参赛 者 就 赢 了 , 参赛 者 获胜 的 概率 是 多 少 ? 
你 的 假设 是 什么 ? 
1.4 一 枚 均匀 硬币 投掷 三 次 , 每 次 投掷 的 结果 是 正面 也 或 反面 T, 得 到 两 次 反面 一 次 正面 的 概率 是 多 少 ? 
1.5 一 个 钢 子 装 有 三 个 球 , 分 别 标 有 数字 1.2.3, 实验 为 随机 抽取 一 个 球 , 抽出 的 球 在 下 次 抽取 球 之 前 被 放 
回 原 处 , 称 为 重复 抽样 , 在 三 次 实验 中 抽 得 到 同一 个 球 的 概率 是 多 少 ? 
1.6 一 个 钠 子 装 有 6 个 球 , 分 别 标 有 数字 1 ~6, 实验 为 随机 抽取 一 个 球 , 并 且 抽 取 后 不 放 回 原 处 , 描述 样 
本 空间 02。 如 果 抽 取 后 放 回 原 处 , 样本 空间 2 又 是 什么 ? 
1.7 实验 为 测量 随机 选择 的 一 组 夫妻 的 身高 。(a) 用 简便 的 符号 描述 2;(b) 令 五 表示 丈夫 比 妻 子 矮 这 样 的 
事件 , 用 简便 的 符号 描述 到。 
1.8 一 个 经 子 装 有 10 个 球 , 分 别 标 有 数字 1~10, 令 马 表示 抽取 一 个 不 大 于 5 的 球 , 令 卫 表示 抽取 一 个 大 
于 3 小 于 9 的 球 。 计算 EEF, F, EF, EUF, EF*, FUF, EF UFEF, EFUEF, (EUF)* 和 (EF)“, 
用 文字 表示 这 些 事件 。 
1.9 有 四 个 等 可 能 的 实验 结果 Ls 和 如 ,以 及 两 个 事件 4= | 和 ,人 和 吾 = | ,ts| ,用 它们 的 元 素 (实验 
结果 ) 表 示 事 件 4B* ,B4“, A4B 和 AUB。 
1.10 ”验证 有 用 的 一 组 等 式 A4A=A4BUAB* 和 AUB=(A4B*)U(BA*) U(4B), 这 些 并 的 概率 如 何 计算 ? 为 
什么 ? 
1.11 在 一 个 给 定 的 随机 实验 中 , 假定 有 四 个 等 可 能 的 实验 结果 5 ts ts 和, 令 事 件 A44 142,b| ,4 的 概 
率 是 多 少 ? 事件 (集合 )4° 用 实验 结果 如 何 表 示 ? 验证 PLA] =1 -PL[A]。 
1.12 考虑 概率 空间 (0, 多 了 )， 
(2) 阐述 概率 的 三 个 公理 , 每 一 个 公理 用 合适 的 语言 加 以 叙述 。 
(b) 推 导 下 列 公 式 , 用 以 上 合适 的 公理 证 明 推导 的 每 一 步骤 
P[AUB]= P[A]+ PIB]— PI[ANB] 
其 中 , 4 和 B 是 域 .中 的 任意 事件 。 
1.13 ”实验 为 从 一 个 盛 有 5 个 球 (分 别 标 有 数字 1 ~5) 的 罐子 里 随机 抽取 两 个 球 , 采用 有 重复 抽样 的 方法 , 要 求 


1.14 


三 个 学 生 “Dim”,“Dense” 和 “Smart” 去 计算 两 次 抽取 球 的 和 等 于 5 的 概率 。Dim 求 得 概率 为 p =2/15, 他 
认为 有 15 个 不 同 的 无 序 对 , 只 有 两 对 符合 条 件 。 即 (1,4) 和 (2,3) ;Dense 求 得 概率 为 p =1/9, 他 认为 
有 9 个 不 同 的 和 (2 ~10), 只 有 一 个 符合 条 件 。Smart 求 得 概率 为 p =4/25, 他 认为 有 25 个 不 同 的 有 序 
结果 , 其 中 4 个 符合 条 件 。 即 (4,1) ,(3,2) ,(2,3) 和 (4,1)。 为 什么 p =4/25 是 正确 的 答案 呢 ? 解释 
为 什么 Dense 和 Dim 的 推理 是 错误 的 ? 

证 明 交 集 的 分 配 率 ， 即 
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AU(BNC)= (A4UB)N(AUC) 
可 以 通过 证 明 每 一 边 包 含 在 男 一 边 中 来 达到 目的 。 
对 于 任何 概率 实验 和 定义 在 这 个 实验 上 的 事件 4, 证 明 : P[A] =1-P[4?]。 
令 0=11,2,3,4,5,6| ,定义 三 个 事件 :4=11, 21, 互 =12,31 和 C=14, 5, 6}1, 概率 测度 未 知 , 但 是 它 
满足 三 个 公理 。 
(i) AUC 的 概率 是 多 少 ? 
(i) AUBUC 的 概率 是 多 少 ? 
( 道 ) 叙述 B 和 C 是 独立 事件 的 条 件 。 
用 式 (1.5-1) 到 式 (1.5-3) 给 出 的 公理 证 明 下 列 关 系 :(Ee.ZF FeF(a)P[g$] =0; (b) P[EF*]=P 
[E] -PLEF]; (c) PLE] =1 -PLE’]。 
对 于 本 题 , 采用 概率 空间 ( 0, 多 P) , 实验 结果 、 事 件 和 事件 的 域 有 什么 区 别 ? 
利用 的 概率 的 公理 化 定义 证 明 :(Ae.ZF, Be 轨 : PL[AUB] =P[A] +P[B] -PL[ANB], 其 中 已 是 样本 
空间 , 2 是 事件 的 域 。 
利用 式 (1.4 -3) 证 明 :P[E@F] =P[LEF] +P[E°F]。 
证 明 前 一 题 中 的 PLE@F] 能 够 写成 PLE@F] =P[LE] +P[F] -2P[LEF]。 


” 令 样 本 空间 为 2 =| 猫 , 狗 ,山羊 , 猪 | 


(a) 假定 只 给 定 下 列 概率 信息 : 

PL 1| 猫 , 狗 | ] =0.9 

P[ 1 山羊 , 猪 |] =0.1 

P[ |1 猪 |] =0.05 
P[ | 狗 | ] =0.5 

对 于 给 定 的 这 些 概率 , 求 一 个 合适 的 事件 域 .多 以 至 于 能 定义 出 概率 空间 (02, .多 P) , 通过 列 出 域 

的 事件 以 及 对 应 的 概率 来 描述 域 。 
(b) 如 果 没 有 PL | 猪 ! ] =0. 05 的 概率 信息 , 重复 (a) 。 
通过 证 明 每 一 边 包 含 在 男 一 边 中 证 明 交 集 的 分 配 律 ， 即 

AN(BUC)= (ANB)U(ANC) 

在 一 个 给 定 的 随机 实验 中 , 有 四 个 等 可 能 实验 结果 to 和。 令 事 件 A4= 161 ,Z| ,4 的 概率 是 多 
少 ? 用 实验 结果 表示 的 A“ 是 多 少 ? A 的 概率 是 多 少 ? 验证 PLA] =1 -PLA4°]。 
一 个 把 子 里 装 有 8 个 球 , 用 字母 a 和 6b 来 对 球 进行 标注 ,两 个 球 标 上 a, 两 个 标 上 b, 剩 下 的 球 标 上 字 
母 ab, 除了 标注 不 同 外 , 所 有 球 都 是 相同 的 。 现 在 随机 地 从 色 子 里 取 球 , 令 A 和 B 分 别 表示 观测 到 字 
母 a 和 b, 求 PLA].P[B] 和 PL[AB]。A 和 B 独 立 吗 (注意 , 如 果 你 抽出 的 球 是 a 球 或 者 ab 球 , 那 就 意 
味 着 你 观测 到 字母 a)? 
一 枚 均匀 般 子 投掷 两 次 (均匀 骨 子 是 指 所 有 实验 结果 1,，…, 6 是 等 可 能 的 ) 。 假 定 在 第 一 次 投掷 出 现 
3, 第 二 次 投掷 后 和 为 7 的 概率 是 多 少 ? 
从 一 副 52 张 的 扑克 牌 中 随机 抽取 一 张 牌 , 令 4 表示 抽 到 “A”" 牌 的 事件 、B 表示 抽 到 红牌 的 事件 , 在 一 
副 扑 克 牌 中 有 4 张 *A”、26 张 红 色 的 牌 , A 和 B 独 立 吗 ? 
一 枚 均匀 的 骨 子 投掷 三 次 , 假定 在 第 一 次 投掷 时 出 现 2, 三 次 投掷 得 到 和 为 7 的 概率 是 多 少 ? 
一 随机 数 产生 器 产生 整数 1 ~9( 互 斥 ) , 所 有 的 实验 结果 是 等 可 能 的 , 每 个 整数 都 是 与 任何 前 面 的 整数 独 
立 产 生 的 。 令 了 表示 两 个 连续 产生 的 整数 和 , 即 并 =N + Ns。 假定 二 是 奇数 ， 为 7 的 条 件 概 率 是 多 
少 ? 假定 并 >10, 至 少 有 一 个 整数 大 于 7 的 条 件 概率 是 多 少 ? 假定 Ni >8， 为 奇数 的 条 件 概 率 是 多 少 ? 
著名 的 哈佛 医学 院 (HMS) 有 60 名 学 生 和 医生 。 假 定 有 一 个 检测 某 种 疾病 D 的 测试 , 这 种 疾病 的 流行 
率 为 0.001, 即 随机 选择 的 一 个 人 患 上 DD 的 概率 PLD] 为 0.001。 测试 的 假 阳 性 率 0.005, 正确 检测 率 是 
1。 所 谓 正 确 检 测 是 指 患 有 DD 的 人 被 正确 检测 出 来 。 假 定 你 被 检测 到 九 为 阳性 , 你 实际 患 有 D 的 概率 
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是 多 少 ? 哈弗 医学 院 的 许多 专家 的 答案 是 0.95， 平均 答案 是 0.56。 如 果 你 得 出 0. 17 的 正确 答案 , 屠 
表明 你 的 概率 知识 要 比 哈佛 医学 院 专家 们 的 概率 知识 多 。 
享 丽 埃 塔 (Henrietta) 已 经 29 岁 了 , 身体 很 健康 。 她 在 大 学 主 修 地 质 学 。 她 在 学 生 时 代 , 经 常 到 国家 森 
林 公园 徒步 旅游 和 在 国家 公园 骑 自行 车 。 她 参加 了 反 伐木 和 反 采矿 的 运动 。 现 在 享 丽 埃 塔 在 尼 瓦 纳 
(Nirvana) 镇 办 公 大 楼 里 工作 。 训 丽 埃 塔 的 职业 是 办 公 室 经 理 的 概率 或 享 丽 埃 塔 是 一 名 像 西 拉 ( Sierra) 
俱乐部 那样 的 自然 保护 组 织 办 公 室 经 理 的 概率 , 这 两 个 概率 哪个 大 ? 
在 图 P1. 32 的 三 元 通信 信道 中 , 发 送 3 是 发 送 1 的 三 倍 , 发 送 2 是 发 送 1 的 两 倍 。 现 在 观察 到 1, 那么 
发 送 的 是 1 的 条 件 概率 是 多 少 ? 

PIY=1|X=1]=1-ea 





X=1 BY=1 
PIY=2|X=2]=1-p 

X=2 Y=2 

X= Y=3 


PIY=3|X=3]=1-7 


图 Pl1.32 三 元 通信 信道 


一 个 大 班 正在 进行 概率 论 的 考试 , 对 于 某 个 测试 题 , 知道 答案 的 考生 比率 是 p, 猜测 的 考生 比率 是 1 -p。 
知道 答案 的 考试 正确 答题 的 概率 是 1, 猜测 的 概率 1/m, m 是 多 项 选择 的 备 选 数 。 计 算 在 他 或 她 正确 
答题 时 知道 答案 的 概率 。 

在 例 1. 6-12 的 选美 问题 中 , 如 果 我 们 预先 决定 在 第 i(1<i<N) 次 选 出 一 个 候选 者 , 那么 选 到 最 美 候选 
者 的 概率 是 多 少 ? 

假定 在 一 个 生产 芯片 的 半导体 制造 三 有 三 台 机 器 4.B、.C, 它们 分 别 生产 那个 三 的 芯片 的 25% .35% 和 
40% 。 在 所 有 生产 出 的 产品 中 , 分 别 有 5% ,4% 和 2% 的 芯片 是 次 品 。 随 机 从 三 台 机 器 输出 的 产品 中 抽 
取 一 个 芯片 , 并 且 发 现 是 次 品 , 这 个 次 品 分 别 由 机 器 A、B 或 C 生 产 的 概率 是 多 大 ? 

在 例 1. 6-12 中 , 假定 采用 “等 等 看 "的 策略 , 画 出 正确 判决 的 概率 与 k/N 的 曲线 , 特别 是 当 k/N =0.5 
时 , PLC] 是 多 少 ? 当天 离 i 不 远 \ 且 入 大 时 , PLC] 对 此 的 灵敏 度 有 什么 建议 ? 

在 圣 . 奥 里 伽 米 的 马德里 拉巴 斯 的 一 个 村 子 里 , 一 场 大 洪水 使 得 103 名 村 民 无 家 可 归 , 政府 建 了 30 个 
帐篷 的 临时 帐篷 村 , 将 103 名 村 民 随 机 地 安排 到 30 个 帐篷 里 。 

(a) 把 此 问题 看 作为 一 个 入 住 问 题 , 那么 什么 是 与 人 住 问题 相似 的 球 ? 什么 又 是 单元 ? 

(b) 将 村 民 分 配 到 帐篷 中 , 可 以 做 多 少 种 不 同 的 分 配 ? 

(c) 有 多 少 种 没有 一 个 帐篷 空 着 的 不 同 分 配 ? 

考虑 7 个 难 分 辨 的 球 (粒子 ) 和 个 单元 , 其 中 n>7, 7 个 球 随机 地 放 入 nn 个 单元 (入 住 多 个 是 可 能 
的 ) ,7 个 球 出 现在 预先 选 定 的 7 个 单元 (每 个 单元 一 个 ) 的 概率 P 卫 是 多 少 ? 

假定 有 7 个 难 识别 的 球 和 %n 个 单元 , 单元 最 多 只 能 放 一 个 球 , 且 7<n, ?个 球 出 现在 预先 选 定 的 7 个 单 
元 的 概率 是 多 少 ? 

三 位 部 落 长 老 赢得 了 瓦 提 斯 坦 北部 的 选举 , 作为 苏 达 比 亚 人 民 的 礼物 , 5 把 相同 的 突击 步枪 被 空投 到 
三 人 会 面 的 会 场 , 部 落 领导 者 拼命 地 奔跑 去 收集 尽 可 能 多 的 能 带 走 的 突击 步枪 。 

(a) 把 此 问题 看 成 一 个 人 住 问题 。 

(b) 列 出 所 有 可 能 的 在 三 名 部 落 领导 者 的 不 同 分 配 。 

(c) 有 多 少 种 不 同 的 分 配 ， 其 中 至 少 有 一 名 部 落 领 导 者 没有 捡 到 任何 突击 步枪 。 

(d) 三 名 部 落 领导 者 至 少 捡 到 一 把 突击 步枪 的 概率 是 多 少 ? 

(e) 只 有 一 名 部 落 领导 者 没有 见 到 突击 步枪 的 概率 是 多 少 ? 

在 某 些 赌场 有 一 种 货 宝 游戏 , 赌 徒 对 投掷 三 粒 仍 子 的 结果 下 赌注 。 有 多 种 下 赌注 的 方法 , 每 一 种 有 不 
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同 的 赔付 ,我 们 列 出 下 面 一 些 用 括号 表示 的 赔付 : 
(a) 指 定 的 三 个 相同 数字 (1 赔 180)。 

(b) 未 指定 的 三 个 相同 数字 (1 赔 30)。 

(c) 指 定 两 个 相同 的 数字 (1 赔 10) 。 

(d) 三 个 仍 子 之 和 等 于 4 或 17(1 赔 60)。 

(e) 三 个 仍 子 之 和 等 于 5 或 16(1 赔 30)。 

(f) 三 个 山子 之 和 等 于 6 或 15(1 赔 17)。 

(8g) 三 个 货 子 之 和 等 于 7 或 14(1 赔 12)。 

(h) 三 个 仍 子 之 和 等 于 8 或 13(1 赔 8)。 

(i) 三 个 山子 之 和 等 于 9 10 11.12(1 赔 6)。 

(j) 指定 两 个 艇 子 的 组 合 , 即 在 三 个 显示 的 明 子 中 , 必须 有 两 个 精确 地 匹配 一 个 组 合 的 下 注 (1 赔 5) 。 
我 们 希望 从 玩家 的 观点 计算 赢 的 概率 以 及 他 期 待 的 收获 。 

大 多 数 通信 网 络 都 采用 分 组 交换 在 两 个 用 户 之 间 建 立 虚拟 电路 , 即使 用 户 与 另 一 个 用 户 共享 同一 物理 
信道 。 在 分 组 交换 中 , 数据 流 被 分 成 若干 包 在 不 同 的 路 径 传输 , 并 在 正确 的 地 址 以 合适 的 时 间 顺 序 重 
装 , 假定 顺序 信息 丢失 了 , 计算 即使 没有 顺序 信息 , 分 成 个 包 的 数据 流 能 正确 地 重 装 的 概率 。 

在 前 一 题 中 假定 N=3, 一 位 懒惰 的 工程 师 觉 得 省 去 顺序 信息 ， 而 采用 重复 发 送 数据 流 直到 数据 包 首次 
正确 地 重新 排序 为 止 , 推导 在 第 n 次 发 送 时 第 一 次 出 现 正确 地 重新 排序 的 公式 。 第 一 次 正确 地 重新 排 
序 的 累积 概率 至 少 达 到 0. 95 之 前 , 重复 发 生 的 次 数 应 为 多 少 ? 

通过 证 明 又 ”,p(E; n, p) = 1 来 证 明 二 项 式 分 布 律 5(%k;n,p) 是 一 个 有 效 的 概率 赋值 。 

考虑 一 个 战争 生存 游戏 。 有 6 枚 来 袭 的 弹道 导弹 ( BM) 对 12 枚 点 火 了 的 反弹 道 导弹 (AMM) ,两 枚 
AMM 对 一 枚 BM, AMM 的 单 次 拦截 概率 (SSKP ) 是 0.8，SSKP 是 AMM 拦截 BM 的 概率 。 假 定 AMM 
互 不 干扰 , 并 且 一 枚 AMM 最 多 只 能 拦截 一 枚 BM, 计算 下 列 概率 : (a) 所 有 BM 被 拦截 ;(b) 至 少 一 枚 
BM 突 防 成 功 并 摧毁 目标 ;(c) 刚 好 一 枚 BM 突 防 成 功 。 

在 前 一 题 中 假定 目标 被 BM 摧毁 。 计 算 只 有 一 枚 BM 突 防 成 功 的 条 件 概率 ? 

计算 机 芯片 制造 商 发 现 , 每 生产 100 个 芯片 , 85 个 满足 技术 指标 , 10 个 需要 重新 生产 ,5 个 为 废品 。 现 
在 挑选 10 个 芯片 进行 检查 : 

(a)10 个 均 满足 技术 指标 的 概率 ? 

(b)2 个 或 2 个 以 上 为 废品 的 概率 ? 

(c)8 个 满足 技术 指标 , 1 个 需要 重新 生产 , 1 个 为 废品 的 概率 ? 

不 像 在 纽约 , 911 是 应 急 的 通用 电话 号 码 , 在 俄罗斯 的 莫斯科 , 拨 01 是 火警 ,02 是 找 警 察 , 03 是 急救 。 
据 估计 在 俄罗斯 应 急电 话 与 纽约 有 大 致 相同 的 分 布 ,60% 是 找 警察 , 25% 是 急救 服务 , 15% 是 火警 。 
假定 监控 到 10 次 呼叫 ,这 些 呼叫 在 时 间 上 不 重 乔 , 且 这 些 呼叫 构成 了 独立 的 试验 : 

(a)10 次 拨号 产生 序列 02030202030102030202 的 概率 是 多 少 ? 

(b) 有 多 少 个 不 同 的 序列 包含 有 6 次 呼叫 找 警 察 、3 次 呼叫 找 救护 车 、1 次 找 火警 ? 

一 个 走私 犯 企图 冒充 玻璃 珠 进口 商 , 试图 把 钻石 混合 在 玻璃 珠 中 来 走私 钻石 , 混合 的 比例 是 每 1000 个 
珠 中 有 一 颗 钻石 珠 。 海 关 检察 员 检 查 了 100 个 样本 , 走私 犯 被 还 住 的 概率 是 多 少 ? 即 在 抽样 中 至 少 有 
一 颗 钻石 珠 的 概率 。 

假定 一 个 容错 接收 机 对 听众 大 的 烦恼 声 产生 一 种 有 声 点 击 ， 每 秒 平均 点 击 数 依赖 于 接收 机 的 温度 ,可 
表示 为 A(7) = 1 - e ,其 中 7 是 开机 时 间 , 求 开机 后 前 10 s 点 击 0.1.2… 的 概率 , 假定 开机 后 点 击 
数 服从 泊 松 分 布 。 

有 一 个 频繁 发 行 的 彩票 , 每 次 发 行 时 以 1 美元 的 价格 发 行 100 张 , 每 次 发 行 肯定 有 一 个 赢家 。 有 一 个 
玩家 花 了 50 美元 , 为 了 使 每 次 发 行 中 至 少 有 一 次 中 彩 的 概率 最 大 , 在 一 次 发 行 中 他 应 该 买 50 张 彩票 
吗 ? 或 者 在 50 次 彩票 发 行 中 他 应 该 每 次 买 一 张 吗 ? 
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在 前 一 个 习题 中 , 两 种 策略 的 哪 一 种 策略 使 得 玩家 有 更 大 的 收益 ? 如 果 玩 M(M<50) 次 彩票 ,期 待 的 
收益 定义 为 Gt 4 于 ,GiP(i) ,其 中 G, 是 在 第 之 次 彩票 发 行 时 赢得 的 收益 。 

在 一 个 如 图 P1. 53 的 开关 网 络 表示 数字 通信 链 路 , 开关 ai (; =1, 2, …, 6) 的 开 或 者 合 , 它们 是 独立 操 
作 的 ,开关 合 的 概率 是 p。 令 4, 表示 开关 i 是 合 的 事件 。 

(a) 用 4, 表示 从 1 ~2 至 少 存在 一 条 合 的 路 径 。 

(b) 计算 从 1 ~2 至 少 存在 一 条 合 的 路 径 的 概率 。 


[hl 
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图 P1.53 电话 链 路 中 的 开关 


〈 在 互 不 相交 的 区 间 上 服从 泊 松 分 布 的 事件 的 独立 性 ) 每 分 钟 到 达 公路 收费 站 的 平均 车 辆 数 为 人 , 在 
〈0,7) 分 钟 间隔 中 有 类 辆 车 到 达 的 概率 为 
P(k;0,T) = “rE 
k! 
考虑 两 个 不 相交 的 区 间 (0, ti ] 和 ( 刀 ,7T], 即 不 重合 的 区 间 ， 由 泊 松 分 布 : 
P[ 在 (0, 右 ] 上 有 7 辆 车 和 (ti ,7T] 上 有 mn 辆 车 ] 
=P[ 在 (0, ti] 上 有 mn 辆 车 ]P (ti, 7T] 上 有 ms 辆 车 ] 

即 在 不 相交 区 间 上 的 事件 是 独立 的 。 利 用 这 样 的 事实 证 明 : 

(a) Pl 在 (0, 五 ] 上 有 mw 辆 车 | 在 (0, 7] 上 有 7 +ns 辆 车 ] 与 和 A 无关。 

(b) 在 (a) 中 令 7T=2, t=1, m=5 和 ns=5, 计算 Pl 在 (0,1] 上 有 5 辆 车 | 在 (0,2] 上 有 10 辆 车 | 。 

在 麻醉 中 使 用 的 自动 呼吸 机 (B) 的 故障 概率 为 Ps, 故障 意味 着 病人 死亡 ,除非 监视 系统 (3M) 检 测 到 故 

障 并 提醒 外 科 医 生 。 监 视 系统 故障 的 概率 为 Py， 系统 部 件 的 故障 是 独立 的 事件 。 哈 佛 医学 院 的 瑟 教 

授 (医学 博士 ) 认 为 ,如 果 Py >Ps, M 的 安装 就 是 无 用 的 D。 证明 关 教授 需要 选修 概率 论 的 课程 以 便 计 

算 用 和 不 用 监视 系统 病人 死亡 的 概率 , 取 Py =0. 1 =2Ps。 

在 一 个 特定 的 通信 网 中 , 服务 器 传播 一 个 数据 包 给 N 个 接收 机 , 然后 服务 器 在 规定 的 时 间 内 等 待 从 NN 

个 接收 机 来 的 确认 消息 , 之 后 再 传播 下 一 个 数据 包 。 如 果 在 规定 的 时 间 内 没有 接收 到 确认 消息 , 服务 

器 就 重 发 同一 个 数据 包 。 服 务 器 被 称 为 “ 重 传 模式 ”, 它 继续 重 发 直到 收 到 所 有 六 个 确认 信息 , 然后 再 

发 下 一 个 数据 包 。 令 pAP[ 一 个 数据 包 成 功 发 送 到 一 个 接收 机 并 收 到 确认 消息 ]。 假 定 对 不 同 的 接收 

机 所 有 这 些 事件 是 独立 的 , 或 者 传送 是 分 开 的 。 由 于 在 传输 媒介 中 的 随机 损耗 以 及 接收 机 的 可 变 的 条 

件 , 我 们 有 p<1。 

(a) 在 固定 的 协议 或 者 操作 方法 中 , 我 们 要 求 接收 到 所 有 六 个 确认 消息 来 对 给 定 的 传输 尝试 做 出 响 
应 , 以 便 宣告 数据 包 传 输 成 功 。 令 事件 S(m) 定 义 为 S(m) 人 | 数据 包 对 所 有 N 个 接收 机 在 小 于 
等 于 m 次 尝试 后 成 功 传送 | 。 求 概率 

P(m) 全 P[S(m)] 
[ 提示 :考虑 事件 SC ) 的 补 。] 

(b) 一 个 改进 的 系统 是 根据 下 面 的 动态 协议 来 运行 的 :这 里 我 们 放松 对 重 传输 尝试 的 确认 消息 的 要 求 ， 
而 只 要 求 那些 从 前 一 次 尝试 到 当前 数据 包 发 送 还 没有 听 到 的 那些 接收 机 的 确认 消息 。 令 Sp (m) 
是 与 (a) 中 相同 的 事件 , 但 使 用 了 动态 协议 。 求 概率 





@ 这 是 一 个 真实 的 故事 , 医学 院 的 名 称 已 改变 。 
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Pp(m) S P[Sp(m)] 

[提示 :首先 考虑 每 个 接收 机 事件 Sb(m) 的 概率 , 然后 推广 到 N 个 接收 机 。] 

注意 :如 果 你 用 p =0.9 和 N=5 来 试 试 的话 , 你 应 该 发 现 P(2) <Pn(2) 。 
投掷 两 枚 无 偏差 的 货 子 ( 每 个 鹏 子 有 6 个 面 :1 ~6), 写 出 两 个 面 的 数字 和 。 重 复 这 个 过 程 100 次 。 有 
10 次 的 数字 和 为 7 的 概率 是 多 少 ? 计算 这 个 概率 的 泊 松 近似 是 什么 (提示 :考虑 在 单 次 投掷 中 4 = | 和 
=7| 这 个 事件 , 并 且 在 式 (1.9-1) 中 的 p 为 P[A])? 
为 客户 考虑 , 你 必须 提供 洗衣 设备 , 你 的 选择 是 : 
1. 以 每 月 50 美元 的 价格 租 两 台 较 为 便宜 的 “Clogger” 洗衣 机 ;或 者 
2. 以 每 月 100 美元 的 价格 租 一 台 " NeverFail "洗衣 机 。 
“Clogger" 有 40% 的 时 间 不 能 工作 , 而 “NeverFail" 有 20% 的 时 间 不 能 工作 。 
(a) 按 客户 的 观点 , 哪 一 个 选择 更 好 ? 
(b) 按 照 你 是 老板 的 角度 考虑 , 哪 一 个 选择 更 好 ? 
在 Borduria 东部 的 政局 不 稳定 的 国家 里 , 常常 发 现 乘客 携带 炸弹 上 飞机 , 任意 给 定 一 个 航班 ， 飞 机 上 
有 炸弹 的 概率 是 10 习 ,一 位 胆 小 的 乘客 总 是 在 手提 箱 里 带 有 一 个 废弃 的 炸弹 , 他 认为 有 两 颗 炸 弹 在 飞 
机 上 的 概率 是 10“。 按 这 样 的 策略 , 胆 小 的 乘客 相信 它 已 经 大 大 地 降低 了 飞机 被 炸 毁 的 机 会 。 你 同意 
他 的 推断 吗 ? 如 果 不 同意 , 为 什么 ? 
在 一 个 由 8 条 链 路 组 成 的 环形 网 络 中 ( 如 图 P1. 60 所 示 ), 有 两 条 路 径 连 接 到 任意 两 个 终端 。 假 定 链 
路 独立 失败 的 概率 是 g, 0 <g <1, 求 数据 包 成 功 由 终端 4 传送 到 B 的 概率 (注意 :终端 4 向 环 的 两 个 
方向 发 送 数据 包 , 终端 B 从 环 的 接收 方向 移出 数据 包 。 成 功 的 传送 意味 着 终端 B 从 两 个 方向 接收 到 
数据 包 ) 。 
工会 指示 电话 公司 的 行政 部 门 , 要 求 对 8 小 时 班 中 处 理 了 超过 5760 
个 呼叫 的 电话 接线 员 付 加 班 费 。 加 入 了 工会 的 电话 接线 员 柯 蒂 斯 在 
某 天 的 8 小 时 班 中 出 现 的 呼叫 服从 率 参数 为 和 =720 呼叫 /小 时 的 泊 B 
松 分 布 , 他 收 到 了 加 班 费 的 概率 是 多 少 ? 
投掷 两 枚 无 偏 的 硬币 (每 枚 硬币 有 两 面 , 分 别 标 有 1 和 2), 记 下 两 面 
数字 之 和 , 重复 这 个 过 程 80 次 。 得 到 10 次 和 数 为 2 的 概率 是 多 少 ? 
计算 这 个 概率 的 泊 松 近似 是 多 少 ? 
到 达 收 费 站 的 平均 车 辆 数 是 每 分 钟 人 辆 , 假定 到 达 的 车 辆 数 服从 泊 


松 分 布 。 假 定 在 前 2 分 钟 到 达 了 5 辆 车 , 在 前 4 分 钟 到 达 10 辆 车 的 
概率 是 多 少 ? 图 P1.60 8 个 站 的 环形 网 络 


A 


”有 一 位 老 教授 , 急切 希望 学 生 对 他 的 课程 有 一 个 好 的 评价 , 于 是 他 给 每 个 学 生 派 发 巧克力 。 教 授 的 短 


期 记忆 是 如 此 之 差 , 以 至 于 记 不 起 哪个 学 生 收 到 了 巧克力 。 假 定 巧克力 是 随机 派发 的 , 有 10 个 学 生 和 
15 块 巧 克 力 , 每 个 学 生 至 少 收 到 一 块 巧克力 的 概率 是 多 少 ? 

假定 计算 机 代码 错误 发 生 如 下 : 一 行 代码 含有 错误 的 概率 是 p =0. 001, 无 错误 的 概率 是 9 =0.999, 不 
同行 发 生 代码 错误 是 独立 的 。 在 一 个 1000 行 的 程序 中 , 找到 2 个 或 更 多 错误 行 的 概率 是 多 少 ? 

如 果 两 个 人 的 生日 的 月 和 日 是 相同 的 (年 不 必 是 相同 的 ) , 我 们 就 认为 这 两 个 人 是 同一 天 生日 。 在 屋 里 
需要 有 多 少 人 才能 使 得 至 少 有 两 人 的 生日 在 同一 天 的 概率 等 于 或 大 于 1/2? 

(抽样 ) 我 们 从 一 条 半导体 生产 线 随机 地 抽出 10 个 芯片 , 已 知 芯片 的 缺陷 率 为 2% , 求 抽出 的 芯片 中 有 
缺陷 的 芯片 大 于 1 的 概率 。 

(渗流 分 形 ) 考 虑 一 个 方形 格子 , 有 从 个 单元 , 即 每 一 边 有 N 个 单元 。 写 一 个 程序 做 如 下 事情 :以 概率 
Dp 将 一 个 导电 的 元 素 放 入 单元 中 , 以 概率 9 =1 -2 让 单元 空 着 , 对 格子 里 的 每 一 个 单元 都 这 么 做 。 当 
你 做 完 后 , 存在 一 条 路 径 让 电流 从 格子 的 底部 到 项 部 吗 ? 如 果 是 的 , 就 说 格子 是 渗流 的 。 渗 流 模 型 用 
在 流行 病 、 森 林 火 灾 、Ad hoc 网 络 等 的 研究 中 。 格 子 也 称 为 随机 分 形 , 因为 它 具 有 某 种 不 变 的 性 质 。 试 
试 N=10.20、50, p =0.1.0.3.0.6。 你 需要 随机 数 产生 器 , MATLAB 有 一 个 函数 rand, 它 可 以 产生 在 
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(0.0,1.0) 上 均匀 分 布 的 随机 数 zi 。 如 果 随 机 数 x; <p, 就 让 该 单元 导电 , 否则 就 让 该 单元 空 着 , 重复 

这 个 过 程 , 只 要 时 间 人 允许 ,以 便 估计 对 不 同 2 的 渗流 概率 。 非 渗流 的 图 如 图 P1. 68( a) 所 示 , 渗流 的 图 

如 图 P1.68(b) 所 示 。 本 题 更 多 的 讨论 请 参阅 M. Schroeder 的 Fyactals, Chaos, Power Laws ( New 

York: W. H. Freeman ,1991 ) 。 

你 是 一 个 TV 游戏 秀 的 参与 者 , 有 三 个 相同 的 关闭 的 门 导向 三 个 房间 , 两 个 房间 什么 也 没有 , 而 第 三 个 

房间 装 有 价值 100 000 美元 的 雷克萨斯 豪华 汽车 , 如 果 你 选择 对 了 , 这 辆 豪华 汽车 就 是 你 的 。 节 目 主持 

人 (主持 人 是 知道 雷克萨斯 豪华 汽车 在 哪个 房间 ) 要 求 你 选 一 个 门 。 在 你 挑选 一 个 门 后 , 主持 人 打开 一 

个 门 (不 是 你 选 的 门 ) 表 明 房 间 里 没有 雷克萨斯 豪华 汽车 。 证 明 : 即 使 没有 任何 进一步 的 知识 , 将 你 原 

有 选择 的 房间 切换 成 剩 下 的 那 扇 关 闭 的 门 的 话 , 将 大 大 地 增加 你 赢得 雷克萨斯 豪华 汽车 的 机 会 。 

我 们 常常 遇 到 在 两 个 备 选中 确定 一 个 最 有 可 能 的 问题 , 在 这 种 情况 下 , 对 于 单个 样本 空间 和 事件 域 ， 

我 们 给 出 两 个 概率 测度 , 即 (2, 大, P, ) 和 (2, 大 , 已 ) ,要求 确定 在 两 种 情况 下 观测 到 的 事件 五 的 概率 ， 

最 有 可 能 的 选择 是 给 出 事件 空间 概率 最 大 的 那个 。 

考虑 放 在 盒子 里 面 的 两 枚 硬币 ,一 枚 是 均匀 的 , P,[ | 五 | ] =0.5, 另 一 枚 是 有 偏 的 , P,[ 1H ] =p, 从 

盒子 抽出 一 枚 硬币 , 并 将 该 硬币 抛 10 次 , 我 们 只 考虑 把 重复 的 抛 硬 币 作 为 实验 , 所 以 样本 空间 为 2 = 

| 所 有 五 和 了 的 所 有 10 个 字符 串 } 。 我 们 观察 事件 妃 = 14 个 鼠 和 6 个 了 的 总 数 | 。 

(a) 观 察 事件 马 的 两 个 概率 P,[EB] 和 Ps[E] 是 多 少 ? 

(b) 确 定 似 然 比 IAP[E1]/P,[E] 与 p 的 函数 (当世 >1 时 , 我 们 说 均匀 硬币 最 有 可 能 , 这样 的 检验 称 
为 似 然 比 检验 ) 。 





P1.68 (a) 非 渗流 随机 分 形 ;(b) 渗 流 随机 分 形 。 你 能 找 出 渗流 路 径 吗 ? (摘自 Fractals， 
Chaos , Power Laws” (经 M. Schroeder, W. H. Freeman,NewYork: ,1991 授 权 引 用 ) 
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2.1 引言 


许多 随机 现象 的 实验 结果 是 实数 集 : 噪声 电阻 两 端 在 时 间 t 的 电压 v(t), 电影 院 下 一 个 
观众 的 到 达 时 间 , 在 一 个 光 脉 冲 里 的 光子 数 , 电视 屏幕 上 某 一 点 的 亮度 , 电灯 泡 失效 前 的 开关 
次 数 , 某 个 人 的 寿命 , 纽约 到 芝加哥 火车 上 的 人 数 , 等 等 。 所 有 这 些 情 况 的 样本 空间 都 是 实 轴 
上 数 的 集合 。 

即使 样本 空间 0 不 是 数值 的 , 我 们 也 要 产生 一 个 新 数值 的 样本 空间 2, 例如 , 将 随机 语音 、 
颜色 、 灰 度 等 转换 成 数字 , 将 随机 选择 的 一 个 人 身体 健康 的 状态 转换 成 由 体重 、 身 高 、 血 压 、 心 
率 等 组 成 的 数值 化 "健康 ”向量 , 或 者 用 一 个 向 量 描述 受 尽 疾病 折磨 的 患者 的 病情 状况 ,如 黑 
肺病 患者 , 描述 病情 状况 的 向 量 由 肺 损伤 的 数量 和 大 小 以 及 肺 部 感染 的 数量 两 个 分 量 组 成 。 

在 科学 与 工程 中 , 无 论 考察 的 实验 .多 是 数值 与 否 , 几乎 在 所 有 情况 下 , 都 只 对 数值 的 实 
验 结果 感 兴趣 。 为 了 得 到 数值 的 实验 结果 , 我 们 需要 一 种 从 原始 的 样本 空间 0 到 实数 直线 RR 
的 规则 或 者 映射 ,这 种 映射 就 是 随机 变量 的 基础 , 我 们 将 在 下 面 几 节 中 详细 进行 讨论 。 

然而 , 应 做 一 、 二 点 注释 和 (a, pb) 随机 变量 的 概念 使 我 们 用 事件 是 一 个 数字 的 集合 去 代 
替 原 始 的 概率 空间 , 这 样 的 话 , 根据 随机 变量 引入 的 概率 空间 , 每 一 个 事件 都 是 R 的 一 个 子 
集 。 但 是 , R' 的 每 一 个 子 集 都 是 一 个 事件 吗 ? 会 不 会 存在 一 个 R' 的 子 集 给 我 们 带 来 麻烦 ? 
如 与 概率 的 公理 产生 冲突 ? 答案 是 “会 ”, 但 是 , 幸运 的 是 , 这 些 子 集 对 工程 和 科学 问题 来 说 并 
不 重要 , 我 们 说 它们 是 不 可 测 的 了 。 在 实际 中 重要 的 集合 具有 形式 是 |1z =a|, |x: asx<b|， 
12: a<x<0b|, 1x: a<sx<b|, 1x: a<x<b|l 和 它们 的 并 集 与 交集 , 这 5 个 区 间 很 容易 表示 
为 [a], [a,b], (a, b], [a, 5b) 和 (a, 5)。 包 含 两 个 端点 的 区 间 称 为 闭 区 间 , 不 含 两 个 端点 
的 区 间 称 为 开 区 间 。 区 间 也 有 半 闭 ( 半 开 ) 的 , 如 (a, b] 是 左 开 区 间 , 或 者 称 为 右 闭 区 间 。 由 
区 间 产 生 的 RR 的 子 集 的 域 在 1.4 节 称 为 博 雷 尔 域 。 

在 同一 个 样本 空间 02, 我 们 可 以 定义 多 个 随机 变量 , 例如 , 假定 02 是 由 美国 有 代表 性 的 一 
组 人 组 成 , 令 实验 由 随机 选择 一 个 人 组 成 , 了 表示 人 的 寿命 ,了 表示 烟 龄 ， 人 们 可 能 要 问 , 环 
与 了 有 关系 吗 ? 也 就 是 说 我 们 能 从 了 预测 邓 吗 ? 假定 定义 第 三 个 随机 变量 Z, 它 表 示人 的 体 
重 , Z 与 或 者 了 有 关系 吗 ? 

引入 随机 变量 的 主要 优点 在 于 我 们 能 够 定义 概率 函数 , 用 概率 函数 可 以 容易 计算 不 同事 
件 的 概率 , 这 些 函 数 自然 必须 与 概率 的 公理 一 致 。 因 此 , 在 实数 直线 上 定义 事件 时 必须 小 心 一 
点 , 在 本 节 引 入 的 思想 将 在 下 一 节 进 行 详细 描述 。 


2.2 随机 变量 的 定义 


在 样本 空间 2 考虑 一 个 实验 .有 w, 0 中 的 点 或 者 称 为 元 素 5 是 随机 实验 .多 的 结果 , 如 果 对 
于 每 一 个 我 们 赋予 一 个 数 X(5) , 那么 就 在 5 与 尽 实 数 直线 之 间 建 立 了 一 种 对 应 规则 , 在 


@@ 参见 附录 D 有 关 测 度 的 简单 讨论 。 
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某 些 约束 下 的 这 种 规则 称 为 随机 变量 , 简写 为 RV。 这 样 ,随机 变量 (， ) 或 简写 为 了 不 是 一 
个 实际 的 变量 , 而 是 一 个 定义 域 为 2 的 函数 , 它 的 值 域 是 实数 直线 的 一 个 子 集 。 作 为 一 个 函 
数 , 了 对 每 一 个 & 产生 一 个 特定 的 了 X(¢), 尽管 对 某 个 特定 的 XX(Z) 有 可 能 是 由 多 个 实验 结果 
产生 。 现 在 考虑 一 个 事件 Es CQ( Es ee)。 

通过 映射 卫 , 这 一 事件 映射 成 实数 直线 上 的 点 (参见 图 2.2-1) 。 特 别 是 , 事件 |¢: X(t) <x| 
常常 缩写 为 | 了 <x| ,以 表示 事件 的 重要 性 , 我 们 应 该 给 它 赋予 一 个 概率 。 作 为 实 变 量 x 的 函 
数 , 概率 PLX<x] AFy(x) 称 为 了 的 累积 分 布 函 数 ( Cumulative Distribution Function ， 
CDF) , 在 参考 文献 [2 -1] 和 参考 文献 [2 -2] 中 证 明了 , 要 想 Fy (x) 与 概率 的 公理 化 定义 一 
致 ， 函 数 民 必须 满足 下 列 条件 : 对 于 每 一 个 数 的 博 雷 尔 集 B, 集合 15: 了 X(E) e BI 必须 与 事件 
EseF 对 应 ， 即 它 必须 是 概率 测度 PP 的 定义 域 , 说 起 来 有 点 数学 化 , 这 要 求 在 R' 中 每 一 个 博 
雷 尔 子 集 的 了 的 逆 像 (组 成 了 域 . 罗 了 ) 都 是 一 个 事件 , 了 才 可 能 是 一 个 随机 变量 。 什 么 是 逆 像 
呢 ? 考虑 任意 的 博 雷 尔 集 B, X(Z) 假 定 在 B 中, 那么 , 在 映射 时 , 2 中 点 集 召 s 称 为 集合 B 
的 逆 像 。 最 终 , 在 工程 中 感 兴趣 的 所 有 集合 都 可 以 写成 是 形式 为 ( - % , x] 事 件 的 可 数 的 并 集 
或 交集 。 事 件 |7: CC) <x| e .表示 将 耻 映 射 成 ( - ,XY] e. 罗 。 因 此 , 如 果 头 是 一 个 随机 
变量 , 点 集 ( -% , x] 就 是 一 个 事件 。 


X(°) 


0 X(2) R 
sm 


图 2.2-1 随机 变量 定义 的 符号 表示 


在 许多 科学 与 工程 的 应 用 中 , 我 们 对 七 的 实际 形式 或 者 集 2 的 特性 并 不 感 兴趣 , 例如 , 可 以 
设想 实验 为 加 热电 阻 并 上 且 观察 电阻 中 电子 的 位 置 和 速度 , 那么 , 集合 2 就 是 电阻 中 N 个 电子 出 
现 的 所 有 位 置 和 速度 。 令 也 表 示 由 电阻 产生 的 热 噪 声 电流 , 很 显然 , X: 0 一 R ,尽管 X 的 形式 
并 没有 指定 , 它 是 由 一 个 相当 复杂 的 量子 电动 力学 方程 , 这 一 方程 描述 了 由 电子 位 置 与 速度 到 电 
流 的 映射 关系 。 我 们 真正 感 兴趣 的 是 也 的 行为 。 因 此 , 尽管 实验 中 隐 含 了 样本 空间 Q2, 我 们 的 兴 
趣 和 在 计算 时 用 到 的 只 是 实数 直线 R 和 它 的 子 集 。 在 映射 时 , 实际 的 效果 是 产生 了 一 个 新 的 
概率 空间 | 尼 ，. 罗 ,Pr , 其 中 尽 是 实数 直线 ，. 罗 是 博 雷 尔 o 域 , 它 是 由 半 无 穷 区 间 ( - , xj] 的 
所 有 并 集 、 交 和 集 和 补 集 产生 的 , Px 是 对 每 一 个 集合 4 e .办 赋予 一 个 数 的 一 篮 函 数 2 。 

为 了 在 x = + % 处 赋予 函数 Fx(Z) 期 望 的 连续 特性 , 我 们 要 求 事件 |=% | 和 | 六 = 一 %| 
有 概率 零 , 后 者 刻画 了 随机 变量 的 完备 性 。 以 上 讨论 总 结 在 下 面 的 定义 中 。 


@ 定义 在 Q 上 的 事件 的 er 域 用 .Z 表 示 。 在 已 上 点 一 焦 博 雷 尔 子 集 用 . 罗 表 示 。 它 们 的 定义 参见 第 1 章 的 1.4 节 。 
图 ”处理 随机 变量 的 一 个 很 大 的 优势 就 是 单个 分 段 函 数 , 即 累积 分 布 函 数 Ex (Z) , 能 够 取代 集 函 数 Px[* ], Px[ ] 要 对 每 
一 个 事件 (集合 )4 e. 罗 进行 描述 是 相当 麻烦 的 , 参见 2.3 节 。 
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定义 2.2-1 令 . 确 为 一 随机 实验 ,， 它 的 样本 空间 为 2, 那么, 实 随 机 变量 是 一 个 定义 在 2 
上 的 函数 ， 它 满足 下 列 几 项 : (i) 对 于 数 昌 的 博 雷 尔 集 , 集合 sp 人 A 1Le 人 2, X(L) eB 是 一 个 事 
件 ; (ii) P[X=-w%]=P[X=+%w]=0。 

一 般 认为 ， 当 承 的 范围 是 由 可 数 点 集 组 成 , 那么 , 外 就 称 为 离散 型 随机 变量 , 如 果 尺 的 范 
围 是 连续 的 , 妃 就 称 为 连续 型 随机 变量 。 作 为 离散 型 和 连续 型 随机 变量 的 定义 ， 这 有 点 不 太 合 
适 , 因为 全 的 取 值 范围 常常 要 在 整个 实数 直线 尼 上 , 在 尼 中 那些 以 非 堆 概率 变换 得 不 到 的 点 
是 不 可 能 事件 D。 

例 2.2-1 (随机 人 ) 从 大 街 上 随机 选择 一 个 人 , 询问 他 (她 ) 是否 有 和 弟弟， 如果 回答 是 
“no”, 那么 数据 由 随机 变量 妃 编码 为 0, 如 果 回 答 是 “yes”, 那么 数据 被 编码 为 1。 那 么 ,随机 实 
了 验 的 样本 空间 为 2= |no, yes| , o 域 为 F=[$, 02，|no| ,|yes|], 概率 P[$] =0, P[0] =1， 
P[no] =3/4( 假 设 ), P[yes] =1/4。 与 全 有 关 的 概率 是 P[$] =0, P[X<%] =P[O] =1， 
P[X=0] =P[no] = 守 , PLX=1] =P[yes] = 十, 取 任意 的 x、 zy， 例如 ,考虑 全 落 在 [Xi， 他] ， 


[zi ws) 或 (wi, XY] 的 概 认 ,于 是 
Pl3<X<4]=Pl¢]=0 
PIO<X<1]= Plnol=3 
PIO<X=<2]=PIQ=1 
Pl0O<X<1]= Plyes]= 3 
等 等 ， 每 一 个 集合 | 瑟 =2Z| » {wi 所 Wl » 1 怀 入 2zo | 等 都 与 定义 在 人 2 上 的 事件 有 关 ， 因此 ， X 
是 一 个 随机 变量 。 
例 2.2-2 (公交 车 随机 到 达 时 间 ) 公 交 车 在 [0, T] 随 机 到 达 , 令 t 表 示 到 达 时 间 ， 那么 ， 
样本 空间 2 为 Q=|t:te[0, T]| 定 义 随机 变量 及 为 
i 人 站 
xo-1 | 到 下 
0， 其 他 
假定 到 达 时 间 在 [0, 7T] 上 是 均匀 的 , 计算 P[X(t) =1] 或 者 PLX(t) =0] 或 者 PLX(t) <5]。 
例 2.2-3 (从 铅 中 抽取 ) 一 个 锥 装 有 3 个 彩色 球 , 球 分 别 为 白色 (WW)、 黑 色 (B) 和 红色 
( 尽 ) 。 实 验 为 从 锥 中 随机 抽取 一 个 球 ， 那 么 ,样本 空间 为 2 = | 机, B, 民 | 。 随 机 变量 了 定义 为 
_ mm =W 或 BB 
| 
计算 概率 PX<xi|, 其 中 x 是 任意 数 。 于 是 ，|X<0| = |RI, {2< 和 <4| = |W, B| 有 关 概 
率 的 计算 留 做 一 个 练习 。 
例 2.2-4 (机 会 轮 ) 一 个 转 轮 指向 50 个 扁 区 , 每 个 扁 区 分 别 标 有 n=0, 1,…, 49， 实验 
为 转动 轮子 。 由 于 游戏 者 只 对 偶数 或 奇数 结果 感 兴趣 ，, 那么, 选择 人 2 = | 偶数 ,奇数 | ,在 go 域 
中 只 有 事件 |$, 2, 偶数 ,奇数 | 。 令 路 =n, 即 n 是 指针 指向 的 那个 数字 , 则 承 就 取 那 个 值 , 下 


@ 另 一 个 定义 如 下 : 如 果 Fx(x) 是 一 个 阶梯 函数 , 那么 了 就 是 离散 型 随机 变量 , 如 果 Fx (x) 是 一 个 连续 函数 , 那么 人 就 是 
连续 型 随机 变量 。 有 些 随机 变量 不 能 分 类 为 离散 型 或 连续 型 随机 变量 , 它们 将 在 2.5 节 中 讨论 。 
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是 随机 变量 吗 ? 注意 , 集合 |2, 3| 的 北 像 不 是 一 个 事件 , 因此 , 站 不 是 这 个 概率 空间 上 的 一 个 
有 效 随机 变量 ， 因 为 它 不 是 人 2 的 函数 。 


2.3 累积 分 布 函 数 


在 例 2.2-1 中 导出 了 七 的 事件 空间 包括 10, 1} , 101 ,11|, $, 其 概率 为 P|=0 或 1] =1， 
P[X=0] =3/4, PLX=1] =1/4, PL$] =0, 由 这 些 概率 , 我 们 能 够 导出 任何 其 他 概率 ， 如 
PLX<0.5]。 在 许多 情况 下 , 为 每 个 事件 写 出 概率 已 ，] 是 非常 棘手 的 。 由 于 这 一 原因 , 我 们 
引入 概率 函数 , 称 为 累积 分 布 函数 。 累 积分 布 函数 是 z 的 函数 , 它 包 含 了 计算 博 雷 尔 域 中 任何 
事件 互 的 概率 PLB] 的 所 有 必须 的 信息 。CDF, 即 Fx(Zz) ,定义 为 

Fx(7x) = PI{¢: X(¢) < xz} = Pxl(—o%0, 2]] (2.3-1) 
式 (2.3-1) 读 为 “样本 空间 中 函数 值 了 (2) 小 于 等 于 x 的 所 有 实验 结果 * 的 集合 ", 因此, 存在 
一 个 实验 结果 的 子 集 1: X(Z) 三 Z| CQ， 映射 和 ) 产生 一 个 集合 [ -wm , Xx] CR 集合 
1Z: (2) sz CQ 和 [ -om ,2Z] CR' 是 一 个 等 价 事件 。 通 常 忽略 与 样本 空间 的 关系 ,只 写 为 
PLX<2] 或 PLa <X<D]。 

通常 用 大 写字 母 表示 随机 变量 , 如 关 , 了 ,2 , 用 小 写字 母 表示 随机 变量 的 值 , 如 Z,，Vy，z。 
Fx(X) 中 的 下 标 了 与 CDF 描述 的 随机 变量 有 关 , 因此 , Fx(yy) 表 示 随 机 变量 承 的 CDF 在 实数 
y 处 的 值 , 它 等 于 概率 PL[X<y]。 如 果 F(x) 在 某 点 不 连续 (zw 点 ), 那么 Fx(zw) 将 取 CDF 
在 ,的 右边 的 值 ( 称 为 右 连 续 )。 


Fx(z) 的 性 质 了 


(i) Fx(%)=1, Fx(—-%)=0。 
(ii) 2 到 2 一 Frxr(Zi) <Fr(r), F(X) 是 x 的 不 减 函 数 。 
(证 ) Fy(%) 是 右 连 续 的 , 即 


Pret) 二 lim Fx (z+), 0 


(站 ) 的 证 明 考虑 事件 1z < 了 <zxs}, 其 中 x。>xi, 集合 [zi, x ] 是非 空 集 , 且 e . 罗 ， 


因此 
0O< Plzi <X<L2]<1 
而 
{X<7z2}={X<r}U{r<X< 7r2} 
和 
{X<ri}N{r <X<7r}=9 
因此 
Fx(x2) = Fx(71)+ Plz1 <X < zo] 
即 


Plg1 <X<7r2|= Fx(r2)— Fx(z1) 0, TXT2>X1 (2.3-2) 





@ 性质 (i) 和 性 质 (iii) 需 要 证 明 , 这 要 借助 第 8 章 中 扩展 的 公理 来 完成 , 也 可 参阅 Davenport[2 -3, Chapter 4] 。 
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下 列 结 果 留 给 读者 自己 去 证 明 : 
Pla<sX<0= Fx(b)— Fx(a)+ PIX=a 


Pla<X<H= Fx(b)— PIX = Fx(a) 
Pla< X <b= Fx(b)— PIX=0— Fx(a)+ Plrz=al 
例 2.3-1 ( 校 验 位 ) 实验 为 观察 计算 机 存储 器 中 的 一 个 字 的 校 验 位 的 电压 不 ， 如 果 位 是 
on, 那么 = 如 果 位 是 off， 那么 天 =0。 假定 off 状态 的 概率 为 d， on 状态 的 概率 为 1 -4， 
那么 ,样本 空间 只 有 两 个 点 : = |off, on|。 


Fx(x) 的 计算 


(i) x <0, 事件 [<x| = 由, 所 以 , Fx(X) =0。 
(ii) 0<x <1: 事件 | 卫 <x| 等 价 于 事件 | off| ,排斥 事件 | on|。 
X00 = 1 i 必 


X(of)=0<% 
因此 , Fx(7X) =9。 
( 道 ) x 宇 1 : 事件 | 了 <X| 是 必然 事件 ,因为 


ge 
X(off)=0<z 
结果 如 图 2.3-1 所 示 。 
例 2.3-2 (等 公交 车 ) 公 交 车 在 (0, T] 时 间 随 机 到 达 ， 令 随 机 变量 及 表示 到 达 时 间 ， 很 
显然 ， 当 t<0 时 , Fx(t) =0, 而 Fy(T) =1, 因为 前 者 是 一 个 不 可 能 事件 的 概率 , 后 者 是 必然 
事件 的 概率 。 假 定 公交 车 是 等 均匀 可 能 地 在 (0, T] 间 隔 的 任何 时 间 到 达 ， 那么 


0， t+<0 

mo- 性 0<t<T (2.3-3) 
1， 志 苦 守 

实际 上 , 式 (2.3-3) 定 义 了 “等 可 能 ”"，CDF 如 图 2.3-2 所 示 , 在 这 种 情况 下 , 我 们 说 下 是 服从 


均匀 分 布 的 。 


Fx(X) Fx(t) 
i * 一 -一 一 1 
| 
I 
q 
1 
1 
了 
0 1 x 0 T t 


图 2.3-1 校 验 位 随机 实验 的 累积 分 布 函 数 。” 图 2.3-2 例 2.3-2 中 均匀 分 布 随 机 变量 卫 的 累积 分 布 函 数 


如 果 F(z) 是 xv 的 连续 函数 , 那么 
Fx(7x) = Fx(7x ) 


但 是 , 如 果 Fx(x) 在 zx 点 是 不 连续 的 , 那么 , 由 式 (2.3-2) 


(2.3-4) 
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Fx(z)— Fx(x )= Plx <X<z) 


=limPlz—-e<X<a) (2.3-5) 


全 P[X = z] 
通常 PLX=x] 是 xz 的 不 连续 函数 ， 当 Fx(x) 是 连续 的 时 , PI[X=x] 为 零 ， 只 有 在 Fy(x) 不 连 
续 处 才 为 非 零 。 
例 2.3-3 (二 项 式 分布 函 数 ) 计 算 参 数 为 (nL, Dp) 的 二 项 式 随 机 变量 卫 的 CDF。 
解 ” 由 于 革 只 取 离 散 值 , 即 人 ec 10, 1, 2,…, n|，, 事件 | 了 <x| 与 1 了 X<[x]| 是 相同 的 ， 
其 中 [Z] 是 等 于 或 小 于 z 的 最 大 整数 。 那 么 , Py(X) 由 阶梯 函数 表示 为 
[z] 


Px(o) = (%) Pp 


j=0 
当 p=0.6, n=4 时 , CDF 是 一 个 楼 梯形 函数 ， 如 图 2.3-3 所 示 。 


反 (X) 







1.000 一 一 一 
0.8704 一 ———— 
0.5248 9 


1 
0.1792 下 
| 








0.00 1 





2 3 4 


图 2.3-3 p=0.6、n=4 的 二 项 式 随机 变量 的 累积 分 布 函 数 


例 2.3-4 (计算 二 项 式 概率 ) 利 用 例 2.3-3 计算 下 列 概率 。 

(a) P[1.5 <X <3] 

(b) P[0O<X<3] 

(c) P[1.2 <X=<1.8] 

(d) P[1.99<X<3] 

解 

(a) P[1.5 <X<3] =Fx(3) -P[ 和 =3] -Fi(1.5) =0.8704 -0.3456 -0. 1792 =0. 3456 

(b) PIO<X<3] =Fx(3) -Fi(0) +P[X=0] =0. 8704 -0.0256 +0. 0256 =0. 8704 

(c) P[1.2 <X<1.8] =Fy(1.8) -Fy(1.2) =0. 1792 -0.1792 =0 

(d) P[1.99<X<3] =Fx(3) -P[ 和 =3] -Fi(1.99) +P[X=1.99] =0. 8704 -0.3456 — 

0. 1792 +0 =0. 3456 

注意 到 即使 是 离散 型 随机 变量 ，CDF 也 有 可 能 取 连 续 变量 的 函数 。 然 而 ， 对 于 一 个 离散 
型 随机 变量 ,有 时 简单 地 认为 CDF 也 是 离散 的 。 令 加 是 一 个 离散 随机 变量 ， 取 值 为 12x| ,， 概 
率 质 量 函 数 (PMF') 为 Px(Xw)。 那 么 , 离散 CDF 也 只 定义 在 12x}。 假 定 这 些 值 是 递增 的 ， 即 
对 于 所 有 的 kk, Xi <Xi,1， 离散 CDF 为 
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k 
Fx(zk) 全 》”P(zj) 对 所 有 大 
j= 一 00 
在 这 个 式 子 里 , 我 们 只 是 在 对 应 于 样本 空间 可 数 的 实验 结果 上 计算 CDF。 
再 看 上 面 的 计算 二 项 式 b(n, PD) 的 例子 , 但 采用 离散 CDF, 我 们 说 随机 变量 在 集合 

10<k<4| 上 取 值 , 它 的 离散 CDF 为 

大 

Fx(k) = 》 (0.6) (1 — 0.6)™, 0<k<4 

j=0 
读者 可 能 注意 到 ， 离 散 CDF 不 能 用 来 计算 像 P[1.5 < 玉 <3] 这 样 的 概率 ， 因 为 它 不 能 在 1.5 
处 进行 计算 。 由 于 这 样 的 原因 ， 即 使 随机 变量 是 离散 的 ， 也 通常 认为 CDF 定义 在 连续 域 。 


2.4 概率 密度 函数 ( pdf ) 


如 果 Fx(Z) 是 连续 的 、 可 微 的 , 那么 , pdf 定义 为 
dFx(Z) 


一 (2.4-1) 
性 质 “如果 六 (z) 存 在 ,那么 
(i) fx(7)>0 (2.4-2) 
Gi) | xat= Fx(o0) -Fx(-o0) =1 (2.4.3) 
Gii) Fx(r)=| x(a = PE < (2.4.4) 


(iv) Fx(es) -Fx(o)=| txt-| fx(0ae=| sx(Wat =Pler< Xo] (2.45) 
fx(x) 的 解释 

PIz<X<z+Azl=Fx(rz+Azr) 一 Fx(z) 
如 果 Fx(%) 的 一 阶 导数 是 连续 的 ,那么 ,对 于 一 个 充分 小 的 As 


Ar 


Z 十 
Fx(z+Ar) -本 四 =| fat elAz 

因此 , 对 于 小 的 Ar 

Plz <X<7z+Azr SN fx(r)Ar (2.4-6) 
注意 到 ,如 果 所 (Zz) 存在 , 也 意味 着 它 是 有 办 的 , 且 至 多 有 有 限 个 不 连续 点 ,那么 Py(2) 是 连 
疆 的 。 因 此 ,由 式 (2.3-5), PIX=z| =0。 

单 变量 正 态 (高 斯 了 ) pdf pdf 为 
1 


jx(z) = 到 se $3], —o0 < z < +o0 (2.4-7) 
TO 








@ 德国 数学 家 /物理 学 家 Carl F. Gauss (1777 -1855 ) 。 


第 2 章 随机 变量 63 


其 中 有 两 个 不 同 的 参数 : 均值 人 和 标准 差 r( 大 于 0) (注意 : co- 称 为 方差 ) 。 对 所 有 z 积分 就 
可 以 证 明 这 个 密度 是 有 效 的 。 


09 i NN 
| 一 一 一 | 一 去 (= “) dz 
-co V270 2 oO 


P 十 oo 六 
= 让 | e- 气 dy， 通 过 变量 替换 y 全 


一 Do 


| 5 3 [rr Wi 
~ V2n Jo “一 而 2 2vVT 


其 中 我 们 利用 了 已 知 积分 


目前 高 斯 ( 正 态 ) 随机 变量 在 应 用 中 是 非常 常见 的 , 用 一 个 特殊 的 表示 形式 来 表示 它 , 我 们 说 
及 服从 N(n, oi) 或 者 写成 卫 : N(1, oo ) 来 表示 这 一 分 布 。 
对 于 任意 的 一 个 随机 变量 , 通常 可 以 用 下 面 两 式 计算 均值 和 方差 (标准 差 的 平方 ) 


记 合 | rfx(z)dz (2.4-8) 





Z 一 内 





和 
ot | 村 (2.4.9) 


将 在 第 4 章 证 明 高 斯 分 布 中 的 这 两 个 参数 就 是 高 斯 随机 变量 真正 的 均值 和 方差 。 
对 于 一 个 离散 随机 变量 , 可 以 从 求 和 计算 均值 和 方差 
pe SY wbr(w) (2.4-10) 


“一 一 Co 


o2 会 》 (zi 一 由 2Px(zi) (2.4-11) 


下 面 给 出 均值 和 方差 的 一 些 简单 计算 例子 。 
例 2.4-1 令 fx(X) =1, 其 中 0<x<1, 其 他 地 方 为 零 。 这 个 pdf 是 下 面 要 讨论 的 均匀 分 
布 的 一 种 特殊 情况 。 均 值 为 
7 省 | Tfx(s)ds = | zdz =0.5 
一 co 0 
方差 为 
oo 1 
a2 = | (zr — 1) fxdz = | (z 一 0.5)2dz = 1/12 
一 Do 0 
例 2.4-2 假定 Px(0) =Px(2) =0.25, Px(1) =0.5, 其 他 值 为 零 ， 对 于 这 一 离散 随机 变 


量 , 利用 式 (2.4-10) 和 式 (2.4-11), 得 
KW=0x0.25+1x0.5+2x0.25=1 
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o2=(0—1)? x0.25+(1—1)?x0.5+(2—1)?x0.25=0.5 


均值 和 方差 是 统计 和 矩 的 常见 例子 , 统计 甜 将 放 到 第 4 章 讨论 , 正 态 pdf 如 图 2.4-1 所 示 。 








口 





图 2.4-1 正 态 pdf 
正 态 pdf 在 科学 与 工程 的 许多 分 支 领域 以 及 社会 和 人 口 统计 学 研究 中 有 广泛 应 用 。 例 如 , 儿 
童 的 IJQ、 男 人 (或 女人 ) 的 身高 、 由 热 引 起 的 电阻 噪声 电压 等 都 可 以 在 一 个 大 的 取 值 范围 内 用 正 
态 近 似 。 
高 斯 pdf 到 标准 正 态 分 布 的 转换 “假定 和 X: Nuw, o”)，, 计算 P[a <X<b]。 我 们 有 








1 zu]: 
Pe<x<d- -| -#[S*] dz 
a 


用 BA(x-p)/o, dB=(1/0)dx, b'A(b-u)/o, a 
人 A(a -人 )Xc, 得 


和 
Pla<x<g= 坟 :| e-3r dz 
2T Jo 
1 全 1 | _1 
= 一 一 ez7 dz 一 一 一 e 27 dr 
2T | V2T Jo 
函数 


cit | e-3e2dt (2.4-12) 
0 


有 时 也 称 为 误差 函数 [erf(x) ], 尽管 误差 函数 erf(Z) 
也 有 其 他 形式 的 定义 了 。 误 差 函 数 erf(x) 的 取 值 列 在 








表 2.4-1 中 , 图 2.4-2 给 出 了 误差 函数 的 图 形 。 图 2.4-2 erf(z) 与 2 的 曲线 
因此 ， 如 果 和 :NA， wo ) 9 那么 
Pla<X=< 中 -ert( ) ot (4) (2.4-13) 





@， 例如 , 误差 函数 用 得 最 广泛 的 定义 是 erf (x) A (2/ Ve-*dt, MATLAB 采用 这 一 定义 ,两 个 误差 函数 的 关系 是 


erf(x) = 二 er (w/V2)。 
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表 2.4-1 erf(x) 的 值 


erf(x) = 去 [exp( 志 总 已 )dt 





区 erf( x) x erf( x) X erf( x) x erf( x) 
0.05 0.01994 1.05 0.35314 2.05 0.47981 3.05 0.49884 
0.10 0.03983 1.10 0.36433 2.10 0.48213 3.10 0.49902 
0.15 0.05962 1.15 0.37492 2.15 0.48421 3.15 0.49917 
0.20 0.07926 1.20 0.38492 2.20 0.48609 3.20 0.49930 
0.25 0. 09871 1.25 0.39434 2.25 0.48777 3.25 0.49941 
0.30 0.11791 1.30 0.40319 2.30 0.48927 3.30 0.49951 
0.35 0. 13683 1.35 0.41149 2.35 0.49060 3.35 0.49958 
0.40 0. 15542 1.40 0. 41924 2.40 0. 49179 3.40 0. 49965 
0.45 0. 17364 1.45 0. 42646 2.45 0. 49285 3.45 0.49971 
0.50 0.19146 1.50 0. 43319 2. 50 0. 49378 3.50 0.49976 
0.55 0.20884 1.55 0.43942 2.55 0.49460 3.55 0.49980 
0.60 0.22575 1.60 0.44519 2.60 0.49533 3.60 0.49983 
0.65 0.24215 1.65 0.45052 2.65 0.49596 3.65 0.49986 
0.70 0.25803 1.70 0.45543 2.70 0. 49652 3.70 0.49988 
0.75 0.27337 1.75 0.45993 2.75 0.49701 3.75 0.49990 
0.80 0.28814 1.80 0.46406 2.80 0.49743 3.80 0.49992 
0.85 0.30233 1.85 0.46783 2.85 0.49780 3.85 0.49993 
0.90 0.31594 1.90 0.47127 2.90 0.49812 3.90 0.49994 
0.95 0.32894 1.95 0.47440 2.95 0.49840 3.95 0.49995 
1.00 0.34134 2.00 0.47724 3.00 0. 49864 4.00 0. 49996 





例 2.4-3 (电阻 的 公差 ) 假 定 我 们 从 一 批 和 =1000 Q ,ec =200 0 的 电阻 中 选择 一 个 电阻 
民 , 民 的 值 在 900 ~1100 0Q 之 间 的 概率 是 多 少 ? 
解 : 假定 R:N[1000,(200)”] ,由 式 (2. 4-13 ) 得 
Pl[I900 < R< 1100] = erf(0.5) 一 erf( 一 0.5) 
而 eIf( -Xx) = -erf( -2)[ 由 式 (2.4-12) 得 出 ] ,因此 
P[900 < R< 1100] = 0.38 


利用 图 2. 4-3 可 以 辅助 进行 推导 , 对 于 头 : N(0, 1), 很 容易 导出 下 面 的 式 子 。 假定 >0， 
那么 





天 总 芝 寺 二 3 + ltt) (2.4-14a) 

PpIX 5 -= 5 + (2.4-14b) 
PlX yy] = 3 = (2.4-14c) 
PI-z<X 和 z=2erf(z) (2.4-14d) 
PI[|X|> 7]=1— 2erf(z) (2.4-14e) 
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例 2.4-4 (制造 ) 一 个 金属 拉杆 应 为 1 m 长 , 但 由 于 制造 的 不 完善 ,实际 长 度 卫 是 一 个 均 
值 凡 =1、 标 准 差 为 r =0.005 的 高 斯 随机 变量 , 拉杆 长 度 位 于 [0.99, 1.01] 的 概率 是 多 少 ? 由 
于 随机 变量 也: N(1, (0.005)?)，, 我们 有 


1.01 


0.99 2T(0.005) 


1.01 一 1.00 


0.005 1 1 2 
= | oe-ir dz 


二 二 00Y2 
€ 2" 0005 dz 


Pl0.99 < L <1.01] = | 





Re V2T 
| 下 二 
三 一 一 dz 
_2 V2T 
二 2erf(2) 三 2 x 0.4772 (参见 表 2.4-1) 
= 0.954 
fx(X) 








(a) PIX<x] 
fx(x) fx(x) 
A 
多 
2 八 
多 
一 区 X 
(b) PIX> +] (0) PIX> 


fx(x) fx(x) 
x 


-XX x 
(e) PL XI>x] 


图 2.4-3 曲线 下 阴影 部 分 的 区 域 


-=X 
(d) P[-x<XxX] 


其 他 四 种 常用 密度 函数 
1. 瑞 利 分 布 ( Rayleigh) (o >0) 
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fx(z) = 0" /2 ulz) (2.4-15) 


其 中 , 连续 单位 阶 既 函数 定义 为 
1 fw 
i 
于 是 , 对 于 x <0, fx(X) =0。 火 箭 着 陆 误 差 、 某 些 波形 幅度 的 随机 起 伏 、 步 枪 射击 时 子弹 脱离 
部 心 的 径 向 分 布 都 服从 瑞 利 分 布 。 
2. 指数 分 布 (ww >0) 


fx(7)= Le/ “u(x) (2.4-16) 


等 待 时 间 、 机 器 的 寿命 、 不 相干 光 的 密度 变化 等 都 可 以 用 指数 分 布 来 描述 。 

3. 均匀 分 布 (5b >a) 

人) = Fo 克 妆 :六 过 志 (2.4.17) 
=0 其 他 

均匀 分 布 应 用 于 通信 理论 、 排 队 模型 等 。 此 外 , 除 端 点 外 对 实验 结果 的 分 布 没有 任何 先 验 知识 的 
时 候 ， 即 我 们 并 不 知道 商务 电话 什么 时 候 来 、 但 又 肯定 要 来 ,比如 在 上 午 9 点 到 下 午 5 点 之 间 ， 
这 时 就 可 以 用 均匀 分 布 来 描述 。 有 时 也 用 U(a, 5b) 表示 均匀 分 布 ,下 边界 为 a， 上 边界 为 b。 

三 种 pdf 如 图 2. 4-4 所 示 。 








图 2.4-4 瑞 利 、 指 数 和 均匀 pdf 


4. 拉 普 拉 斯 分 布 pdf 定义 如 下 : 
天 人 二 5 人 一 oo <Z<oo c>0 (2.4-18) 
拉 普 拉 斯 分 布 广泛 应 用 于 语音 和 图 像 处 理 中 , 可 用 于 对 邻近 样本 差 建 模 , 或 者 用 于 对 样本 点 和 


它 的 近邻 信号 电 平 差 建 模 。 由 于 样本 点 电 平和 它 的 近邻 相同 , 所 以 拉 普 拉 斯 峰值 在 零点 。 拉 
普 拉 斯 pdf 有 时 也 写成 


I 


V20 
其 中 og 是 拉 普 拉 斯 随机 变量 站 的 标准 差 , 在 第 4 章 再 进行 解释 。 拉 普 拉 斯 pdf 如 图 2. 4-5 所 





exp[—V2lz|l/o], -co <z< oo o>0 (2.4-19) 
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示 。 在 图 像 压缩 中 , 拉 普 拉 斯 模型 对 所 谓 的 “AC 系数 ”是 合适 的 ,“AC 系数 "出 现在 称 为 
DCTD 的 去 相关 变换 中 之 后 。DCT 变换 应 用 到 8 x8 的 像素 块 。 


fx(x) 





O x 


图 2.4-5 在 语音 和 图 像 的 计算 机 分 析 中 使 用 拉 普 拉 斯 pdf 
例 2.4-5 (辐射 功率 ) 我们 发 现 蜂 窟 电话 在 某 个 距离 接收 基站 的 接收 功率 服从 参数 为 
0 =1 mW 的 瑞 利 分 布 。 功 率 WW 小 于 0.8 mW 的 概率 是 多 少 ? 由 于 功率 可 以 用 瑞 利 随机 变量 建 
模 , 因此 


Pr<oa= | Ze- 了 dz， 由 于 o2 =1 
0.0 
08 2 1] 
二 ed(=~z?) 
1 2 
0.32 
二 A 1 
二 | e-ydy， ”做 变量 替换 Y 三 =7? 
0.0 2 
=1— e032 20.29 


例 2.4-6 (图 像 压缩 ) 在 为 JPEG 图 像 压缩 系统 设计 量化 器 时 , 我 们 需要 知道 变换 AC 系 
数 的 范围 。 这 个 系数 卫 用 参数 为 go 的 拉 普 拉 斯 模型 来 描述 , 事件 | |X| > ko | 的 概率 是 多 少 ? 
这 个 概率 表示 为 有 的 函数 ,其 中 =1, 2,3，,…。 如 果 选 择 一 个 使 这 个 概率 足够 低 ， 那么 在 
[ -ko，+ko] 范 围 内 设计 量化 器 , 就 只 有 少量 的 情况 出 现 饱和 。 我 们 需要 计算 


exp (-vzz/c) dz 十 珊 exp (+V5z/c) dz 








P[|X| > ko] = | J 





三 2 | A exp (~Vaz/o) dz 


芋 | PC- 0 y 人 zr/o 
2 3 exp (- vo) 


= €Xp (~vax) 


当 k=2 时 ,得 到 概率 为 0.059, 当 k=5 时 , 概率 为 0.85 x10 一 ， 即 在 1000 个 系数 中 大 约 有 一 
个 出 现 饱和 。 














Q@ DCT 表示 离散 余弦 变换 , 它 是 一 种 用 在 信号 分 析 中 的 DFT 的 一 种 变形 , 二 维 DCT 用 于 图 像 处 理 , 它 是 由 一 个 对 行 的 一 
维 DCT 跟着 一 个 对 列 的 一 维 DCT 组 成 。 
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在 表 2.4-2 列 出 了 一 些 常 见 的 连续 型 随机 变量 的 概率 密度 和 分 布 函数 。 
表 2.4-2 ”常见 的 连续 型 随机 变量 的 概率 密度 和 分 布 函数 











分 布 类 型 pdf f(x) CDF F(x) 

0， Tou, 
均匀 U(a,b) P [u(z — a) — u(x =—b)] { 晤 sz se， 

1 b<z 

一 z 0， Z< 0， 
指数 人 > 0 二 eu 人 1 
高 斯 N(j,o”) 机 z exp[ 一 雪 (三) 到 十 erf( 4 上) 
拉 普 拉 斯 c > 0 遍 exp[—V2|z|/o] 3[l+sgn(z)(1 — exp(—V2|z|/o))] 
瑞 利 c > 0 本 ez /20 v(x) 所 一 0 | u(Z) 
更 多 的 高 级 分 布 


5. XX 分布 (n 为 整数 nn 二 1) 
fx(z) = Kzr($)-1le-#u(z) (2.4-20) 


其 中 归 一 化 常数 为 KK 2 F(.) 为 附录 B 中 讨论 的 伽 马 函 数 .2 pdf 如 图 2. 4-6 


所 示 。 
n = 2, 4, 10 时 的 x 密度 





0 5 10 15 20 25 30 35 40 45 50 
图 2.4-6 n=2( 实 线 ) 、n =4( 虚 线 ) 和 n=10( 星 号 ) 时 的 XX 概率 密度 。 注 意 到 
越 大 ,概率 密度 的 形状 越 趋 于 具有 正 的 均值 参数 的 正 态 概率 密度 


6. 件 马 分 布 (b >0, c >0) 
fx(z) = Kyr le su(z) (2.4-21) 


若 伽 马 pdf 的 推广 存在 , 则 K, =c”"/T(5)。 
7. 学 生 t 分 布 (n 为 整数 ) 


_OA 一 (9 
fx(7) = Kst (1+5) ,00<ZX<o0 (2.4-22) 
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其 中 
KK, = Tl(n + 1)/2] 
tT(n/2)Vin 
xX 和 学 生 t 分 布 在 统计 学 中 被 广泛 应 用 2, 我 们 在 本 书后 面 会 遇 到 这 些 分 布 。 伽 马 分 布 是 其 他 
分 布 的 母 分布 , 例如 ,b=1 时 对 应 的 伽 马 分 布 为 指数 分 布 , b=n/2 和 c=1/2 时 的 伽 马 分 布 对 
应 于 分 布 。 
8. 贝塔 分 布 (a 二 0, 6 二 0) 
(atB+l)! ar] 
fx(z;a, 8B) = | a 7 A 0<z< "| 
贝塔 分 布 是 统计 学 中 的 一 种 双 参 数 的 分 布 ， 如 图 2.4-7 所 示 。 
在 工程 和 科学 中 还 有 其 他 一 些 重要 的 分 布 , 我 们 将 在 今后 的 概率 论 的 研究 中 遇 到 。 然 而 ， 
它们 都 有 一 些 共同 的 性 质 。 
jx(z) 三 0 (2.4-23) 


| i (2.4.24) 


当 Fx(%) 不 连续 时 ,严格 地 说 它 的 某 些 点 的 导数 并 不 存在 , 因此, pdf 也 是 不 存在 的 。 在 描述 
时 , 概率 函数 是 否 有 用 依赖 于 站 的 分 类 , 接 下 来 将 讨论 这 个 问题 。 


贝塔 pdf 


pdf 值 





-0.5 0.2 0.4 0.6 0.8 1 1.2 
变量 值 


图 2.4-7 B=1、a=n-2、 对 应 于 各 种 n 值 的 贝塔 pdf。 当 
B=0、a=0 时 ,贝塔 pdf 变 成 了 0 <x<1 上 的 均匀 分 布 


2.5 连续 型 、 离 散 型 和 混合 型 随机 变量 


如 果 Ex(z) 对 每 个 z 都 是 连续 的 、 且 它 的 导数 除 某 些 可 数 点 外 是 可 导 的 , 那么 就 称 瑟 是 
连续 型 随机 变量 , 在 "x(%) 存在 的 和 点 处 , pf 是 fx(X)F'x(X)。 在 Fx(X) 连 续 而 天 x(x) 不 
连续 的 点 , 我 们 可 以 给 .fx(xX) 赋 任意 的 一 个 正 数 ; 那么 fx (xX) 对 每 一 个 x 都 有 定义 , 就 可 以 使 
用 下 面 的 重要 公式 : 


@ 之 所 以 取 名 为 学 生 t 分 布 是 因为 它 的 发 明 者 W. S. Gossett(1876 - 1937 ) 是 在 名 为 “学 生 ” 的 刊物 上 发 表 了 他 的 论文 。 
Gossett,E. S. Pearson ，R. A. Fisher 和 J. Neyman 被 称 为 现代 统计 学 的 竟 基 人 。 


第 2 章 随机 变量 71 


Fx(7) = | fx(O de (2.5-1) 
Plzl <X<Z72]= | fx (de (2.5-2) 
和 
PIB] = : 
[B] | (Od (2.5-3) 


其 中 Be.2, B 是 一 个 事件 。 式 (2.5-3) 是 基于 下 列 事 实 得 出 的 : 对 于 连续 型 随机 变量 , 事件 可 
以 写成 在 RR 上 不 相交 区 间 的 并 , 例如 , 邻 B= |é:éeU?L,1Ll=g,iz 诈 ,其 中 I, = (a,， 
b;], 那么 
bi b> br 
PE 四 = | 产 O4+ | trate | ou 

人 (2.5-4) 

= | fx (Od 
:LEB 


离散 型 随机 变量 有 阶梯 形 的 分 布 函数 ,如 图 2. 5-1 所 示 。 


Fx(x) 





图 2.5-1 离散 型 随机 变量 的 累积 分 布 函数 


离散 型 随机 变量 的 概率 测度 是 概率 质量 函数 0(PMF)。( 离 散 型 ) 随 机 变量 闷 的 PMF 
Px(X) 定 义 为 
Px (x) = PIX = 2] 
= PIX<z-PX<z] 
因此 , 在 Fx(x) 的 连续 处 , Pr(Z) =0, 而 在 Fy(x) 不 连续 处 , 即 Fx(x) 的 跳 变 处 , Px(x) 有 非 
零 值 。 如 果 用 Fx(x” ) 表 示 P[X<x], 那么 在 跳 变 点 x;, i =1, 2,…, Px(wi) 的 值 可 以 由 
Px(X;) =Fx(%i) 一 xi ) 计 算 。 
概率 质量 函数 可 用 在 随机 实验 的 结果 是 可 数 的 时 候 。 确 实 , Px (x;) 借 用 了 下 面 的 频率 解 
释 : 做 n 次 实验 , 令 n; 表示 x; 出 现 的 次 数 , 那么 , 对 于 大 的 
Px (Ti) 饼 四 (2.5-6) 


由 于 PMF 与 概率 的 频率 表示 很 接近 , 所 以 有 时 也 称 为 频率 函数 。 
由 于 离散 型 随机 变量 的 Fx(x) 是 不 连续 的 , 因此 , 严格 地 讲 , fy (Xx) 是 不 存在 的 。 然 后 ， 


(2.5-5) 


@ 概率 像 质量 一 样 可 以 保存 , 概率 质量 函数 中 的 “质量 "就 是 指 这 个 意思 。 
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如 果 引 入 狄 拉克 5 函数 字 , 那么 就 能 够 对 离散 型 随机 变量 的 pdf 赋值 。 离 散 型 随机 变量 的 CDF 为 


Fx (7) 人 PIX <z| = bp Px (zi) (2.5-7) 
所 有 的 zi<z 
更 一 般 的 情况 ,当头 是 离散 型 随机 变量 时 , 对 于 任意 事件 B 
P[B] = Px (zi) 
20 人 
常用 的 离散 型 随机 变量 
1. 参数 为 p 的 伯 努 利 随机 变量 B(0 <p <1, 92 人 1 -D) 为 
B= 
Ps(k) = k=1 dy 
0， 其 他 
二 gq6(k) 十 p6(k 一 1) ”利用 离散 6(%k) 函数 (2.5-10) 


伯 努 利 随 机 变量 出 现在 下 面 的 情况 : 当 实 验 的 结果 是 两 种 可 能 的 情况 之 一 , 例如 , 在 数字 序列 
中 的 某 一 位 是 “1" 或 者 "0”。 伯 努 利 PMF 可 以 方便 地 写成 Ps(k) =p"q “, 其 中 k=0 或 1, 对 
其 他 的 k, Ps(k) =0, 对 应 的 CDF 为 


二 qu(k) 十 pu(k 一 1) 利用 单位 阶 跃 函数 以 (K) 
2. 参数 为 nn 和 的 二 项 式 随 机 变量 及 (n=1, 2,…; 0 <p <1) ,大 为 整数 


ch 瑟 二 2 用 风 
pm 人 用 直 坟 (2.5-11) 
0， 其 他 
= (2 ) par ul) — un —A) (2.5-12) 
二 项 式 随机 变量 出 现在 机 会 游戏 、 军 事 防御 策略 、 失 效 分 析 等 , 它 对 应 的 CDF 为 
0, 让 过 必 
Fx(k) = $4 Dto (7 Dig",0<k<n 
上 kn 
其 中 1 k,n 为 整数 。 
3， 参 数 为 (1 >0) 的 泊 松 随机 变量 开 , 大 为 整数 
i Te *,0<k<o0 
Pel 赔 三 人 i (2.5-13) 


泊 松 分 布 广泛 应 用 于 科学 和 工程 的 每 一 个 分 支 (参见 1. 10 节 )。 泊 松 PMF 用 单位 阶 路 函数 
wu(k) 可 写成 





Q@” 有 时 也 称 为 冲 激 函数 ,由 英国 物理 学 家 Paul A. M. Dirac(1902 - 1984) 而 命名 , 狄 拉克 函数 将 在 附录 B 中 讨论 。 
@” 当 自 变量 为 零 时 离散 6 函数 为 1, 而 自 变量 为 其 他 值 时 ,离散 6 函数 为 0。 
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大 
Px(k) = $e tu(k) 


其 中 离散 单位 阶 跃 函数 定义 为 
ww 全 1l, 0O<k<oo 
~ \0,—o0o<k<0 


4. 参数 为 D >0, gq >0 (p +9 =1) 的 几何 分 布 随机 变量 及, 为 整数 


~ [pq*,0<k<o0 
Px (k) { 0, 其 他 (2.5-14) 
= pg“u(k) 
对 应 的 CDF 用 几何 级 数 (参见 附录 A) 的 有 限 和 表示 为 


0; k<0 
Fx(k) = p (5S ),0<k<o 


本 1 一人 
=»( i ) 


这 个 分 布 在 例 1.9-5 中 首次 出 现 , 在 那里 注意 变化 za" , n=1, 称 为 几何 随机 变量 ”。 
例 2.5-1 ( 泊 松 随机 变量 的 CDF) 下 面 计算 泊 松 随机 变量 的 CDF。 令 耻 为 具有 参数 几 的 
泊 松 随机 变量 ， 由 PMF 的 定义 , Px (k) = ewulk), 那么 , 对 于 kk <0, Fy(k) =0, 对 于 


(2.5-15) 





三 0， 有 


| 
TNA» 
© 
= 
rg 
OO 
| 
下 


表 2.5-1 列 出 了 几 种 常用 离散 型 随机 变量 及 它们 的 PMF 和 CDF。 
表 2.5-1 常用 离散 型 随机 变量 及 它们 的 PMF 和 CDF 表 





类 型 PMF Px(K) CDF Fx(K) 
伯 努 利 p,q qd(k) + pd(k— 1) qu(k) + pu(k— 1) 
0， k<0 
二 项 式 n, (%) prg™™* [u(k) — wu(n — k)] 1 全 pigq™ il,0<k<n 
LL kn 
泊 松 /> 0 钼 eru(k) et x u(k) 





大 1 一 gs+ 
几何 p,q paru(h) p(T ) 





@ 注意 , 我 们 有 时 说 一 般 意义 的 概率 分 布 , 并 非 都 是 指 分 布 函数 , 这 里 用 PMF 来 说 明 几 何 分 布 。 
@ 不 完备 伽 马 函数 的 定义 参见 附录 B。 
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有 时 候 随机 变量 既 不 是 纯 离 散 的 、 也 不 是 纯 连 续 的 , 我 们 称 这 样 的 随机 变量 为 混合 型 随机 
变量 ， 混 合 型 随机 变量 的 CDF 如 图 2.5-2 所 示 ， F(x 
因此 , Fx(YX) 是 不 连续 的 , 但 不 是 阶梯 函数 。 

连续 和 离散 随机 变量 的 区 别 是 人 为 的 ,连续 
和 离散 型 随机 变量 常常 看 成 不 同 的 目标 , 尽管 它 
们 真正 的 区 别 在 于 前 者 的 CDF 是 连续 的 , 而 后 者 
则 不 是 。 引 入 6 函数 以 后 , 就 可 以 把 它们 当成 一 类 





来 处 理 ， 对 连续 和 离散 型 随机 变量 概率 的 计算 只 0 x 
需要 对 pdf 积分 即 可 。 图 2.5-2 混合 型 随机 变量 的 CDF 
现在 回 到 式 (2.5-7), 对 于 离散 型 随机 变量 
可 以 写 为 
Fx(7) = ST Px (zi)u(z — zi) (2.5-16) 


1 一 一 Co 


利用 附录 B 中 的 6 函数 ,得 





fx(z) = 2 - Prx(zi)5(z — Ti) (2.5-17) 
例 2.5-2 (计算 实例 ) 令 全 是 离散 型 随机 变量 , 分 布 函 数 如 图 2.5-3(a) 所 示 , 卫 的 pdf 为 
fx(z) = 六 = 0.26(z) + 0.66(z — 1) + 0.26(z — 3) 


图 形 如 图 2.5-3(b) 所 示 。 为 了 计算 离散 型 随机 变量 的 概率 ， 积 分 区 间 必 须 仔 细 选 择 ， 因 此 ， 


十 


Ra=| fr 
在 有 6 函数 的 地 方 , 积分 就 包含 了 这 个 8 函 孝 。 






fx(x) 0.66(x—1) 


0.286(x) 





0.26(Xx— 3) 





(b) 





图 2.5-3 (a) 离散 随机 变量 的 CDF; (b) 使 用 6 函数 的 对 的 pdf 
类 似 地 ，P[zi < 了 Xx ] 包含 了 区 间 


X1 X2 
这 就 包含 了 Xo 处 的 冲 激 (如 果 在 那里 有 一 个 冲 激 的 话 ) ,但 排除 了 Yi 处 的 冲 激 。 另 一 方面 ， 
P[zi< 瑟 <2o] 包 含 了 区 间 
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X1 X2 


因此 


Plzl <X<7z2)= | ~ fx(Ode 


2 


应 用 到 本 例 中 ,由 这 些 公式 得 出 


PIX <1.5] = Fx(1.5) = 0.8 (2.5-18) 
Pll<X<3=0.2 (2.5-19) 
PII<X<3] = 0.6 (2.5-20) 


例 2.5-3 (计算 实例 ) 参 数 为 a 的 泊 松 分 布 的 pdf 为 


例 2.5-4 (计算 实例 ) 二 项 式 分 布 b(k; n, p) 的 pdf 
产 四 = 和 (% ) rg -月 
大 一 0 


例 2.5-5 (计算 实例 ) 如 图 2.5-4 所 示 的 混合 型 随机 变量 的 pdf。(1) 常数 开 是 多 少 ? 
(2) 计 算 P[X<5],P[5< 和 <10];(3) 画 出 分 布 函数 。 


fx(x) Fx(x) 


1.00 


0.75 | 





0.2568(x 一 5) 0.2586(x—10) 





(a) (b) 
图 2.5-4 (a) 例 2.5-5 的 混合 型 随机 变量 的 pdf; (b) 计 算出 的 pdf 


| xd =1 


可 得 到 10K +0.25 +0.25 =1 一 玉 =0.05。 
(2) 由 于 PLX<5] =PLX<5] +P[XX=5], 在 Y=5 处 有 一 个 冲 激 必须 包括 在 内 ， 因 此 


PIX<5]= | [0.05 + 0.256(¢ — 5)]d¢ 


= 0.5 
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为 了 计算 P[5 二 <10], 我 们 排除 X=10 处 的 冲 激 , 但 包含 X=5 处 的 冲 激 ,因此 
107 
Pl5< X < 10] = | ~ [0.05 + 0.256(¢ — 5)]d¢ 


= 0.5 
(3) 对 图 2.5-4(a) 的 pdf 积分 可 得 到 头 的 概率 分 布 函 数 , 图 形 画 在 图 2.5-4(b) 中 。 


2.6 条 件 和 联合 分 布 函数 和 概率 密度 函数 


考虑 一 个 事件 C, 它 是 由 所 有 那些 满足 X(Z) <x 且 5 esBcC0 的 实验 结果 #sQ 组 成 , 其 
中 BB 是 男 一 个 事件 。 那 么 根据 定义 , 事件 C 是 两 个 事件 IZ: X(Z) <x| 和 |Z:l e BI 的 交集 。 
我 们 定义 在 事件 B 给 定 的 条 件 下 子 的 条 件 分 布 函数 为 
A PIC] _ PIX < 2,8B|] 

PHB] PIB] 

其 中 PLX<2z, B] 是 联合 事件 |X(Z)<x|l NB 和 (PLB] 关 0) 的 概率 。 如 果 x=%, 事件 |X< 
% | 是 必然 事件 2, 由 于 QNB=B, 所 以 (wm1B) =1。 类 似 地 , 如 果 xX = -%, 1|X<-%| 
= 中 , 由 于 QNg$ = 中 , 所 以 Fx( -%1B) =0。 按 这 种 方式 继续 , 不 难 证 明 Fx(x1B) 有 一 般 分 布 
函数 的 所 有 性 质 , 例如 x <x%o 一 Fx(z11B) <Fx(x21B)。 

例如 , 考虑 事件 |<x。, BI , 写成 (假定 x 二 x ) 

{X<7x2,B}={X<7r,B}U{r1 <X< ro,B} 
由 于 右边 的 两 个 事件 是 不 相交 的 ,它们 的 概率 相 加 , 于 是 
PIX < 72,B]= PIX < 71,B|+Plz1 <X < ro,B] 


Fx(z|B) 





(2.6-1) 


0 PIX < x2|BIPIB] = PIX < zilB]PIB]+ Plzi < X < zalB]PIB] 
因此 当 PL[LB] 关 0 时 , 经 整理 后 我 们 得 到 
Plzl < 和 <zalB]= PIX<zalB]- PIX < za|B] 
= Fx(7z2|B) — Fx(7x1|B) 
一 般 说 来 , 事件 B 依据 概率 空间 |R, . 罗 , Px| 而 不 是 原始 的 12, 多 已， 条件 概率 密度 为 


, A dFx(z|B) 人 
fx(z|B)= i (2.6-3) 


(2.6-2) 


下 面 给 出 一 些 例子 。 
例 2.6-1 (条 件 CDF 的 计算 ) 令 BA 1X<10|, 计算 Fy(x1B)。 
(1) 对 于 Xxw 宇 10, 事件 |x<10| 是 事件 | 了 <x| 的 子 集 ,因此 , PIX<10, X<7x] = PLX=< 
10] , 利用 式 (2.6-1), 得 
PIX < zx,X < 10] 








bx A ~! 
(2) 对 于 x<10, 事件 |<x| 是 事件 1X10| 的 子 集 ， 因此, P[X<10, X<x] = 
P[X<e], 县 
PIX=< 
Px(olB) = 商人 
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其 结果 画 在 图 2.6-1 中 。 当 B=|1b< 了 <al 时 ， F(x| 8B) 
Fx(X1B) 的 计算 留 给 读者 练习 。 
例 2.6-2 ( 泊 松 条 件 CDF) 令 天 是 一 个 参数 为 
由 (>0) 的 泊 松 随机 变量 ,我 们 希望 计算 在 给 定 事件 | 避 = 
0, 2,4,…| 4A | 及 为 偶数 | 的 条 件 下 了 六 的 条 件 PMF 和 条 
件 CDF。 首 先 观察 到 P[ 且 为 偶数 ] 为 


ze k 








P[ 区 二 02 三 2》, tt 0 10 x 
k=0,2,… 
a 图 2.6-1 头 的 条 件 和 无 条 件 CDF 
那么 ,当头 为 奇数 时 , 我 们 有 
Co AR 
PE 区 =13…]= 2, THe’ 
k=1,3,… 
由 这 些 关 系 , 得 
人 pe Lp 
一 a A 
ee” 一 > Te = i(—D)'e 
k 宇 0 且 上 为 偶数 kk 之 0 且 太 为 奇数 k=0 
k 
pas : (一 几 ) 一 内 
k=0 
一 e—He—k 
= 2 
和 
k k 
= 二 frets=1 
k 宇 0 且 上 为 偶数 大 过 0 且 大 为 奇数 


因此 , P[X 为 偶数 ] =P[X=0,2,…] -于 (1 +e@ 光 )。 利 用 条 件 PMF 的 定义 , 我 们 有 
P[X = ,XX 为 偶数 ] 

P[X 为 偶数 ] 
如 果 忆 为 偶数 ,那么 | 及 =k| 是 | 及 为 偶数 | 的 子 集 。 如 果 有 为 奇数 ，| 生 =k| 首 | 及 为 偶数 | = 中， 
因此 ， 当 尼 为 偶数 时 , P[ 有 =k, 及 为 偶数 ] =P[ 卫 =k]， 当 上 为 奇数 时 , P[ 了 =k, 六 为 偶数 ] 为 
零 。 所 以 , 我 们 有 





Px (k| 关 为 偶数 ) 三 


2 人 一/ 为 偶 兰 
PN 全 二 = 人 本 Te- 上, 大 > 0 且 为 偶数 





) 

0， 天 为 奇数 

那么 , 条件 CDF 为 | 

Fx (Z| 为 偶数 ) 二 》 ”Px(k|XX 为 偶数 ) 
所 有 天 去 和 

天 


= 至 2 bk 
(1+2e-+*) kl 


0<k<7 
且 k 为 偶数 


下 面 推导 一 些 包 含 条 件 CDF 和 条 件 pdf 的 重要 公式 。 
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分 布 函数 表示 为 条 件 分 布 函数 的 加 权 和 ”在 式 (1.6-7) 给 出 了 事件 妃 的 概率 用 个 互 不 
相 容 的 事件 | 44,} 表示 , 其 中 上 =1, 2,…, n, 这 些 事件 14;| 是 定义 在 与 事件 B 相 同 的 概率 
空间 上 。 用 B= 1X<x|1, 由 式 (1.6-7) 可 立即 得 出 
Fx(z) = >》 Fx(z|Ai)P[Ai] (2.6-4) 
t=1 
式 (2.6-4) 将 了 xx(z) 描 述 为 条 件 分 布 函 数 的 加 权 和 。 式 (2. 6-4) 可 以 看 成 对 条 件 CDF 进行 平 
均 D。 由 于 我 们 还 没有 给 出 平均 的 具体 表示 (将 在 第 4 章 讨论 ), 这 里 只 要 求 读者 接受 这 一 命 
名 ,因为 在 技术 文献 中 很 有 用 。 
例 2.6-3 (有 瑕 疯 的 存储 芯片 ) 在 计算 机 存储 芯片 的 自动 制造 中 , 公司 Z 每 生产 5 片 好 
的 芯片 就 会 有 1 片 有 下 疫 的 芯片 ,有 瑕 疫 的 芯片 (DC ) 失效 的 时 间 服 从 CDF 
Fx(Z|DC)=(1 一 e "2)u(z) (z 的 单位 为 月 ) 
而 好 的 芯片 (GC) 失效 的 时 间 服 从 CDF 
Fx(zlGC) = (1 一 e ”9)u(z) (z 的 单位 为 月 ) 
芯片 的 好 坏 是 看 不 出 来 的 。 芯 片 卖 出 去 了 , 在 使 用 6 个 月 之 前 失效 的 概率 是 多 少 ? 
解 ” 由 式 (2.6-4)，, 芯片 的 无 条 件 CDF 为 
Fx(7)= Fx(z|DC)PIDC] + Fx(z|GC)PIGC] 
其 中 , P[DC] 和 PI[GC] 分 别 是 选择 一 片 有 瑕 竟 的 芯片 和 一 片 好 的 芯片 的 概率 , 根据 给 定 的 数 
据 , P[DC] =1/6, P[GC] =5/6, 因此 
Fx(6)= [1—e 3]#+[1—e 06]s 
一 0.158 十 0.376 = 0.534 


概率 密度 函数 的 贝 叶 斯 公式 ”考虑 定义 在 同一 个 概率 空间 上 的 事件 B 和 |X=x| ,由 条 件 
概率 的 定义 ,写成 下 式 似乎 是 合理 的 
PIB,X =W| 
PIBIX =w|= P= 
式 (2.6-5) 的 问题 是 : 如 果 头 是 连续 型 随机 变量 , 那么 PLX=x] =0, 因此 , 式 (2.6-5) 没 有 定 
义 。 然 而 , 我 们 计算 PLBIX=x] 可 以 通过 对 包含 事件 |x <X<x+Ax| 的 概率 取 极 限 来 得 到 。 


考虑 表达 式 





(2.6-5) 


Plz<X< 和 <z+AzlBlPIBI] 
Plx<X<z7z+Az] 
如 果 (i) 在 表达 式 右 边 的 分 母 、 分 子 除 以 Ax，( 详 ) 利用 这 一 事实 : PL[x <X<x+Ax1B] = 
F(x+AX1B) -F(x1B),( 道 ) 取 Ax-0 时 的 极限 , 可 得 到 
PIBIX =7]= AimPIBIz < 和 过 2 十 Az] 


PIBIiz< 和 和 zz 十 Arz] = 





_ xlB)P 四 (2.6.6) 
-fa 


式 (2. 6-6 ) 称 为 在 和 =z 的 条 件 下 事件 BB 的 后 验 概率 (或 后 验 密度 ), 在 式 (2. 6-6) 的 两 边 乘 以 


@ 由 于 这 一 原因 , 当 Fx(z) 用 式 (2.64) 表 示 时 ,有 时 也 称 为 平均 分 布 函 数 。 
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fx(X) 并 对 x 积分 , 得 出 如 下 重要 的 结果 : 
PIlB] = | PIBIX = 7x]fx(z)dzr (2.6-7) 


与 本 节 采 用 的 符号 一 致 , P[B] 有 时 也 称 为 B 的 平均 概率 , 这 是 由 式 (2.6-7) 的 形式 得 到 的 。 

例 2.6-4 (检测 开关 的 闭合 ) 一 个 信号 卫 可 能 来 自 三 个 不 同 的 源 , 分 别 标 以 A、B 和 0。 
来 自 A 的 信号 服从 N( -1, 4), 来 自 妃 的 信号 服从 N(0,1), 来 自 C 的 信号 服从 N(1,4), 为 
了 让 信号 到 达 终 点 民 , 线 上 的 开关 必须 闭合 。 当 在 民 观 察 到 信号 及 时 , 只 有 一 个 开关 是 闭合 
的 ,但 不 知道 是 哪个 开关 闭合 ,然而 知道 开关 a 闭合 的 次 数 是 开关 b 的 两 们 ,开关 b 闭合 的 次 
数 是 开关 c 的 两 倍 ， 如 图 2.6-2 所 示 。 


A 


> 
B Ab = | | 
Ce a 


图 2.6-2 根据 观察 到 的 信号 , 接收 机 玉 必须 决定 哪个 开关 是 闭合 的 ,或 等 价 于 
源 4、B、C 中 的 哪 一 个 对 信号 负责 ,接收 和 开机 时 只 有 一 个 开关 闭合 
(1) 计 算 PLX< -1]。 
(2) 假 定 观测 到 事件 1 和 > -1}, 这 个 信号 最 有 可 能 来 自 哪个 源 ? 
解 (a) 令 PLA] 表 示 在 民 得 到 的 观测 是 源 于 A 的 概 座 ， 即 开 关 w 闭合 的 概率 。 己 [已 ] 和 
P[C] 与 此 类 似 。 那 么 ,由 题目 中 开关 的 信息 , 我 们 有 P[A] =2P[B] =4P[C], 且 P[4] + 
P[B] +P[C =1。 因 此 , P[4] =4/7, P[B] =2/7, P[C] =1/7。 接 下 来 计算 P[X< -1]， 


PI[IX < -1]= PIX < -1|A]PIA] + PIX < -1|B]PIB] + PIX < —1|CIPIC] 
其 中 
PIX< -1|4] = 1/2 (2. 6-8) 
PIX < -1|B] = 1/2 — erf(1) = 0.159 (2. 6-9) 
PIX < -1|C] = 1/2 — erf(1) = 0.159 (2. 6-10) 





因此 P[X< -1] =1/2 x4/7 +0.159 x2/7 +0. 159 x1/7 ~0.354, 
(b) 计 算 max|P[AIX> -1], P[BIX> -1], P[CIX> -1]|, 注意 到 PLX> -114A] = 
1-P[X< -114], 对 B 和 C 也 有 类 似 关 系 。 对 于 源 和 A, 利用 贝 叶 斯 公式 , 我 们 有 
_ {1~— PI[X < —1|4]} x PI[4] 
1— PIX < —1] 





PIAIX > -1] 
将 前 面 计 算 的 结果 代入 , 得 P[AIX > -1] =0.44。 
对 其 他 的 源 , 重复 以 上 的 计算 过 程 , 得 
P[BIX > -1] = 0.372 (2.6-11) 
PICIX > —1] = 0.186 (2..6-12) 
因此 ，, 按 后 验 概率 最 大 的 原则 , 源 A 是 事件 | 卫 > -1| 最 有 可 能 的 原因 。 
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泊 松 变换 式 (2.6-7) 一 个 重要 的 特例 是 所 谓 的 泊 松 变换 , 其 中 B 是 随机 变量 了 从 集 {0， 
1,…} 取 整 数值 的 事件 , 即 BA 1 了 =k| , 是 泊 松 参数 , 这 里 把 该 参数 看 成 一 个 随机 变量 , 其 
概率 密度 为 f(xX) ,一般 的 泊 松 分 布 为 
PlY = 月 =e* 络 ， k>0 (2. 6-13) 
其 中 性 是 在 给 定 区 间 上 (时 间 、 距 离 、 体 积 等 ) 事 件 的 平均 数 , 参数 j 看 成 常数 。 但 在 许多 情况 
下 , 所 考虑 的 物理 现象 决定 了 人 自身 也 是 随机 的 , 必须 把 它 看 成 随机 实验 的 结果 。 这 样 就 有 两 
个 随机 因素 , 的 随机 值 和 随机 结果 | 了 =k| ， 当 是 随机 的 时 候 ， 用 一 个 随机 变量 和 去 取代 
它 更 合适 。 因 此 , 对 于 给 定 的 随机 实验 结果 | 耻 =x| ,概率 已 了 =8I 和 =2Z] 是 泊 松 的 , 但 事件 
1Y 了 =k| 的 无 条 件 概率 不 必 是 泊 松 的 。 因 为 事件 数 和 泊 松 参数 都 是 随机 的 , 这 种 情况 有 时 也 称 
为 双 随 机 。 由 式 (2. 6-7), 我 们 得 到 了 的 无 条 件 PMF 为 


Co zk 
P=| 页 efx(z)dz， k>0 (2.6-14) 


上 式 称 为 泊 松 变换 ， 如果 Py(k) 能 够 由 实验 得 到 , 那么 就 可 以 利用 上 式 得 到 fx(x)。 由 Py(k) 
得 到 fx(%) 的 机 制 称 为 逆 泊 松 变 换 D, 推导 如 下 , 令 


Flo) SE | erresfx(o)de (2.6-15) 
TJo 
即 e “fx(w) 的 傅 里 叶 逆 变换 ,由 于 
ejoz = >, [jwz]*/k! (2.6-16) 
k=0 
可 得 到 | 
LS 
Fa = 去 2 oj | 页 ex(o)da 
k=0 Qs 
= 二 jo“ Py(k) (2.6-17) 
k=0 


因此 , 如 果 Py(k) 已 知 的 话 , F(w) 也 就 知道 了 。 取 F(w) 的 傅 里 叶 正 变换 , 得 


e “fx(w)= ee” 上 F(w)e "rdw 


即 
fx(v2) = e” | F(w)e 1°” dw (2.6-18) 
式 (2. 6-18) 是 我 们 要 找 的 逆 关 系 ， 总 结 如 下 : 如 果 知道 Py(k), 就 可 以 计算 F(w), 一 旦 知道 
了 F(w) 就 可 以 通过 健 里 叶 变 换 得 到 fx(x)。 下 面 通过 一 个 光 通 信和 的 应 用 来 说 明 泊 松 变换 。 
例 2.6-5 ( 光 通 信 ) 在 光 通 信和 系统 中 , 来 自发 射 器 的 光 打 到 光 检 测 器 上 会 产生 光电 流 ， 光 
电流 是 由 价 电子 变 成 的 传导 电子 组 成 (如 图 2.6-3 所 示 )。 
由 物理 学 知道 ， 如 果 发 射 器 使 用 恒定 强度 的 相干 激光 ,激光 强度 即 泊 松 参 数 卫 的 pdf 为 
{tm) =z 2z6%0 (2.6-19) 


@ 注意 , F(w) 不 是 CDF。 
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其 中 wo 是 激光 强度 , 它 只 是 一 个 常数 。 另 一 方面 ,如果 发 射 器 采用 热 照 射 ， 那么 , 泊 松 参数 了 
服从 指数 分 布 g 
fx(7z) = 2 网 (2. 6-20) 
其 中 以 >0 刚好 是 一 个 参数 , 但 是 后 面 将 要 证 明 这 个 参数 是 怀 的 均值 。 计 算 电 子 计 数 变量 了 的 PMF。 
解 ” 对 于 相干 激光 照射 由 式 (2. 6-14) 








00 ik 
P(e)= | Te “dz 一 zo)dz (2.6-21) 
和 
zk 
一 zre “大 三 0 (2. 6-22 ) 
因此 ， 对 于 相干 激光 照射 ， 光 电子 服从 激 松 分 布 。 对 于 热 照 射 ， 我 们 有 
5 ph 1 
Py(k) = | 二 62/ 
0 好 H 
1 一 Z/a 
-页 | Ze 一 z/ dr, 其 中 a 全 二 
ak-1 [oo 网 
二 | ze dz， 变量 替换 z 三 了 Z/a 
nk! 0 
K-1 
= tl 其 中 了 工 表 示 伽 马 函 数 (参见 附录 B) 
ak-1 
! 
有 
kl1 
= 宇 (2.6-23) 
h 
k 
KH 
Er 


这 个 PMF 分布 称 为 几何 分 布 , 有 时 也 称 为 玻 色 - 爱 因 斯 坦 ( Bose-Einstein) 统计 中- ， 它 服从 
有 趣 的 递 推 关系 





fn 
Py(k+1)= Py(k : 
IT (2. 6-24) 
采用 不 同 的 照射 方式 ， 光 电流 会 有 相当 的 不 同 。 
光 天 线 
六 接收 机 电子 放大 器 
2 b> 
es 
光 检测 器 。 一 
(a) 
光电 流 
脉冲 


(b) 


图 2.6-3 (a) 光 通信 系统 ;(b) 光 检测 器 的 输出 电流 
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联合 概率 分 布 函数 与 联合 概率 密度 ”正如 2.1 节 所 述 , 在 概率 空间 上 有 可 能 定义 多 个 随机 变 
量 , 例如 , 考虑 一 个 概率 空间 (0, .和 P) , 考虑 的 随机 实验 是 由 同时 投掷 两 枚 均匀 硬币 组 成 , 这 
里 顺序 并 不 重要 , 基本 实验 结果 为 6 =HH、 Zz。 =HIT、% = 了 TT, 样本 空间 为 2= 1HH, HT, TT| 事 
件 的 o 域 为 bp、02、1HTI、1TTI、1HHI、1TT 或 HTI、 {HH 或 HT|、1HH 或 TT| ,概率 很 容易 
计算 , 分 别 为 0、1、1/2、1/4、1/4、3/4、3/4 和 1/2。 现 在 定义 两 个 随机 变量 


/ 一 个 
x = {9 ee YY (2.6-25) 
= 一 个 一 个 
xa(0 = {7 人 PO (2.6-26) 


那么 , P[X, =0] =3/4, P[X, =1] =1/4, PLX, = -1] =1/2, P[X,=1] =1/2, 另外 , 我们 也 
很 容易 计算 联合 事件 的 概率 , 例如 , PLX =0, Xs =1] =P[L 1HH| ] =1/4。 

在 概率 空间 上 定义 一 个 以 上 的 随机 变量 时 , 有 可 能 定义 了 一 个 退化 了 的 随机 变量 。 例 如 ， 
考虑 一 个 随机 实验 是 由 转 轮 停 下 来 指向 的 数字 组 成 (0 ~ 100), 假定 我 们 令 筷 (5) =， 
X,(L) =e ,这 种 情况 就 是 退化 , 因为 观察 到 一 个 随机 变量 以 后 ， rte et 实 
际 上 , 不 确定 性 只 是 与 一 个 随机 变量 有 关 , 并 不 是 两 个 , 我 们 不 妨 忘记 观察 男 一 个 。 如 果 在 概 
率 空间 上 定义 一 个 以 上 的 随机 变量 , 如 果 随 机 实验 足够 复杂 pp 退化 就 可 
以 避免 。 例 如 , 在 开始 我 们 考虑 的 例子 中 , 观察 到 成 =0, 并 不 指定 X, 的 值 , 而 观察 到 XX。 = 1 
时 并 不 指定 也, 的 值 。 

事件 |X<x, Y<y|l A 1X<x| NI1Y<y| 是 由 所 有 eeQ 且 满足 X(Z)<zx 和 了 (5) <y 的 随 
机 实验 结果 组 成 。 由 事件 {|X<x, Y<y| 导出 的 点 集 在 x'y' 平 面 上 是 图 2. 6-4 所 示 的 阴影 区 
域 , 在 图 中 x、y 表示 的 数 是 正 的 , 一 般 情 况 下 它们 可 能 是 任意 的 值 。 对 和 了 的 联合 累积 分 布 
函数 定义 为 

Fxy(r,y) = PLX<z,Y < (2.6-27) 

根据 定义 ,， Fxy(x, y) 是 一 个 概率 , 因此 , 对 所 有 的 Y 和 2，Fxr ,2y)=0。 由 于 |X<o ， 

7< o | 是 一 个 必然 事件 , 所 以 Fyy( % ，o ) =1。 与 必然 事件 有 关 的 点 集 是 整个 x'y' 平 面 , 事 

件 | 了 < -om ,了 < -o | 是 不 可 能 事件 , 因此 , Fxy( -%，-%) =0。 读 者 可 以 考虑 一 下 事件 
1X<7x, 了 < -1 和 1X< -o ，7<y， 它们 也 是 不 可 能 事件 吗 ? 

由 于 {XX<%w | 和 |Y< | 是 必然 事件 , 对 于 任意 y: 
事件 B, BNQ=B, 于 是 得 到 

{X<7r,Y <%0}={X<7r}NI{Y < 0} 





={X<z7r}NA YY 
二 4 省 匠人 及 A Xx’ 
(2.6-28) 
因此 
Fxy(7x, 0%%) = Fx(7) (2. 6-29a) 
Fxy(co,y) = Fy(y) (2. 6-29b) 


如 果 Fyy(x, y) 是 连续 的 、 可 导 的 , 联合 pdf 可 以 由 图 2.6-4 与 事件 |/X<x, Y<y| 有 关 的 点 集 
下 式 得 到 : 
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02 
fxy (zy) = 天 而 [XY(z, (2.6-30) 
很 显然 
fxy(z,y)drdy = Plr <X<r+dry<Y<y+dy 
因此 ， 对 于 所 有 (>， 2) s Jsy( Xs 2) 三 0。 
对 式 (2. 6-30) 两 次 积分 , 得 


zr [ry 
A | | 人 有 (2.6.31) 


式 (2.6-31) 表 明 Fwy(x, y) 是 对 非 负 函数 fxy(x, y) 在 图 2.6-4 阴影 部 分 上 的 积分 。 很 显然 ， 
对 fxy(%, y) 积 分 的 区 域 越 大 , 概率 也 越 大 。 由 此 得 出 一 个 很 明显 但 很 重要 的 结论 : 如 果 
(%1， Yi)、(Ys， Ys) 表 示 两 对 数 , 如 果 x1 xo、 Yi yo, 那么, Fxy (zi, Y1) < Fyy(X2, Ys)。o 
一 般 说 来 , Fxy(x, y) 随 (xX, y) 向 上 和 向 右 的 移动 而 减 小 , 随 (z, y) 向 下 和 向 左 的 移动 而 增 
加 。 此 外 ,Fxy(x, y) 是 从 上 和 从 右 连 续 的 , 即 在 不 连续 点 , 如 zo、yo, 以 及 e >0、6 >0 

Fxy (zo0,y0) = lim Fxy (zo + &, vo + 6) 


5—0 


因此 , 在 不 连续 点 , Fxy(x, y) 假 定 了 取 右 边 和 上 边 的 值 。 
联合 CDF Fxy( xX, y) 的 性 质 


(i) Fxy(%, %)=1, fxr=( -~,Yy)=Fxr(X, -%)=0, 此 外 , Fxy(%, %) =Fx(%); 
Frw(%, Yy)=F,(Yy), 

(ii) 如 果 zz zo, Yi 寺 ys, 那么 Fxy(z1, yi) 夺 Fixy( Xs, Y2)o 

( 道 ) Fxy(x, Yy) =limFxy(X+e,Y+6) e,6>0( 从 右 和 从 上 连续 )。 


6 一 0 


(iv) 对 于 所 以 > 和 ys, 三 Y1, 我 们 有 
Fxy(z2,y2) — Fxy (7291) — Fxy(T1,Yy2)+ Fxy(T1,y1)=0 
最 后 也 是 最 关键 的 性 质 (iv) 是 一 维 CDF 不 减 性 质 在 二 维 的 推广 , 一 维 CDF 不 减 性 质 是 : 
对 所 有 VW, 二 Xl， Fi(%y -Fx(%) =0。 这 也 是 事件 | x < 天 过 ae ，V1 <Y<Yy, | 具有 非 负 概 率 的 
需要 , 由 这 个 事件 导出 的 点 集 如 图 2.6-5 所 示 。 


y’ 





图 2.6-5 事件 |z < 了 <xs, yi < 了 <y| 的 点 集 
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这 一 概率 计算 的 关键 是 要 观察 到 将 集 |<zx。, 了 <y; | 分解 成 下 列 不 相交 集 : 
{X< ZzoY < yo}={r<X<7r,Y <Y < yo} 
U {zi<X<7rY <}U{X<ry <Y < yo} (2.6-32) 
U {Xz<r,Y<} 
现在 利用 由 公理 1[ 参见 式 (1.5-3)] 导 出 的 结果 , 得 
Fxy(z2,Yy2)= Plr1 <X< roy <Y < Yl 
+ Plzi1 <X<7rY n+PX<r <Y yy] (2.6-33) 
+ Fxy(z1,Y1) 
根据 定 积分 的 基本 性 质 , 式 (2. 6-33 ) 右边 的 第 二 项 、 第 三 项 能 够 分 别 写 成 


下 加 fxy (tM)dt dn = 国 | 六 Jar(Cmdgd 


可 (2.6-34) 

-| 下 Jxy(cm)dcd7 

TI 12 1 y2 
| | fxy (tM)dt dn = | | fxy (Cm)dtan 

ee Po (2.6-35) 

| 上 fxy(t,n)didn 

而 这 些 等 式 右边 的 项 都 是 分 布 的 , 因此 , 式 (2. 6-34) 和 式 (2. 6-35 ) 变 成 了 
| 入 上 A ain = it, gi ev (2.6-36) 
| | fxy(t, ndedn = Fxy(T1,y2) — Fxy (71,Y1) (2.6-37) 

一 00 vy1 


再 回 到 式 (2. 6-33), 利用 式 (2. 6-36) 和 式 (2.6-37), 得 
Fxy(za,ya) =Plzil <X < Toy1 <Y < yol 
+ Fxy(T2,y1) — Fxy(T1,Y1) + Fxy(T1,Yy2) — Fxy (rT1,Yy1) (2.6-38) 
十 Exy(zl yi) 


经 过 化 减 和 整理 后 , 将 希望 的 量 出 现在 左边 , 最 终 得 到 

Plzi1 <X<7roYy <Y < Yy2]= Fxy(T2,Yy2) — Fxy(T2,Y1) [至 689) 

一 FExyr(zl,y2) 十 FExyr(zlV1) 

式 (2. 6-39) 对 任何 独立 与 否 的 随机 变量 了、 了 都 是 成 立 的 。 在 应 用 式 (2. 6-39 ) 时 必须 小 心 。 例 
如 , 图 2.6-6(a) 和 (b) 中 画 出 了 包括 了 随机 变量 瑟 、 工 的 两 个 区 域 4 和 召 1z <<xs| 和 
1 <Y<2% | 。 但 在 式 (2.6-39) 这 里 应 用 是 不 合适 的 , 因为 没有 一 个 矩形 区 域 的 边 与 轴 平 行 。 
在 图 2.6-6(a) 所 表示 的 情况 , 通过 旋转 的 坐标 变换 可 以 解决 这 个 问题 , 但 这 涉及 随机 变量 变 
换 的 知识 , 这 是 下 一 章 将 要 讨论 的 内 容 。 图 2. 6-6 所 示 的 点 集 所 描述 的 事件 的 概率 仍 可 以 在 合 
适 的 区 域 上 对 概率 密度 (pdf) 积分 求 得 。 下 面 用 实例 加 以 说 明 。 
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测 间 村 六 的 (b) 事件 B 的 点 集 
图 2.6-6 式 (2.6-39) 不 适用 的 事件 A 和 B 的 点 集 
例 2.6-6 ( 非 矩 形 集 的 概率 ) 给 定 .fr(z, y) =e “Yu(x) vy 


w(y), 计算 P[(X, 了) e. 妈 ], 其 中 . 肥 为 图 2.6-7 的 阴影 部 分 。 
区 域 .如 描述 为 .如 = | (X,Y): 0<x<1l, Iy1<x| ,那么 





a | (~e-Y|0)e "dz i 


1 (2.6-40) 





久 0.1998 
例 2.6-7 (CDF 计算 ) 令 及、 了 为 两 个 随机 变量 , 联合 概率 密度 为 fxy(X, 2V) =1, 0 <Z 大 1， 
0<y =<1, 其 他 地 方 为 零 。 概率 密度 的 支撑 用 灰色 表示 ， 事件 ( 区， x] x( 一 2 ， y] (0 <X<1, 
0 <y <1) 用 粗 黑 线 为 边界 的 阴影 区 域 表示 。 






OX LO y<1 
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对 于 图 所 示 的 情况 ,Pir(z, g) = | | ldz'dy' = xy。 
1 
当 0 <z <1,Yy >1 时, 我 人 有 Fy(x,Yy) = bar’'[ dy = XY, 按 这 种 方法 继续 下 去 , 最 终 我 
们 得 到 完整 的 CDF 为 





0 


0， 吾 委 和 ,天 受 0 

TY; 0 交 殉 志 0 和 本 各 二 
Fxy(7x,Yy) = Z, 0<2 人 ly>1 

y, 让 

可 vy >1 


正如 例 2. 6-6 和 例 2. 6-7 所 表明 的 特殊 情况 那样 ， 如果.fxy(x, y) 存 在 , 那么 任何 形 如 
1(X,， 了 ) e.%| 事件 的 概率 都 可 以 由 下 面 的 公式 计算 : 


PI(X,Y) E. 如 = 中 。 JJxy(z,y)dzdy (2.6-41 ) 
式 (2.6-41) 看 上 去 是 合理 的 , 它 的 真实 性 还 需要 证 明 , 一 种 方法 是 将 任意 形状 的 区 域 分 解 成 许 
多 小 的 不 相交 的 和 矩形 区 域 .名 , .As。,…, .An， 那么 事件 | 对 ,Ye .有 %| 被 分 解 为 


N 
{(X,Y) € .AW} = (J{(X,Y) e.Ai} 
i=1 


因此 (根据 公理 3) 
N 
P[(X,Y) e. 可 =》 PI(X,Y) € .A (2.6-42) 


i=1 
而 右边 的 概率 可 以 用 概率 分 布 表示 , 因而 也 就 可 以 用 概率 密度 的 积分 表示 式 (2. 6-39)。 取 极 
限 , 当 六 变 得 很 大 时 , .4%, 变 成 无 穷 小 , 于 是 得 到 式 (2. 6-41) 。 
函数 Fx(%) 和 Fy(y) 如 果 是 从 联合 分 布 函数 得 来 , 那么 也 称 为 边缘 分 布 。 因 此 





Fx(z) = Fxy(z, 0%) = | | Jxy (的 y)dcdy (2. 6-43) 
FW) = Pr(oog=| | fv maran (2.6-44) 
由 于 边缘 概率 密度 为 
fx(z) = x (2.6-45) 
fy (y) = 池 归 (2. 6-46 ) 


在 式 (2. 6-43 ) 和 式 (2. 6-44) 中 分 别 对 x 和 求 偏 导数 , 得 
fx(7) = | fxY(7, Ydy (2.6-47) 
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Ce 


fy (y) = | fxy (7,Yy)dr (2.6-48) 


一 De 


下 面 将 联合 pdf fir(z,， 2) 的 一 些 关键 性 质 总 结 如 下 。 
关 合 pdf 的 性 质 
(i) .pr(z，2y) =0,， 对 所 有 2Z，2y。 
(GD) 三 三 fv(z,9) dvdy = 1 (必然 事件 ) 。 
(这) 当 .fw(x, 29) 不 是 一 个 概率 时 ， 它 确实 可 以 大 于 1, 我 们 可 以 把 fiy(x, y) dzdy 看 成 
微分 概率 。 有 了 时 也 写成 fxy(x, y)dxdy =PLx<X<x+dx, < 了 <y+dy]。 
(iv) f(z) = | fox, Way 和 f(y) = {f(x, Y) dr 


性 质 (i) 是 基于 这 样 的 事实 得 出 的 : 联合 pdf 在 整个 平面 上 任意 区 域 上 的 积分 必须 是 正 
的 。 另 外 , 把 这 个 联合 pdf 看 成 是 CDF 的 混合 偏 导 数 , 性 质 (i) 就 可 以 由 联合 CDF 的 性 质 
( 记 ) 取 极限 得 出 。 性 质 ( 站 ) 的 得 出 是 基于 这 样 的 事实 : 联合 pdf 在 整个 平面 上 的 积分 给 出 了 随 
机 变量 取 某 些 值 的 概率 ,随机 变量 取 这 些 值 是 必然 事件 , 概率 为 1。 

对 于 离散 随机 变量 , 我 们 可 以 得 到 类 似 的 结果 。 假 定 对 于 所 有 的 x;、yi, 联合 PMF 为 
Pxy(Xi， Yi)， 边缘 PMF 为 


Px (zi) = bs Pxy (Ti, yk) (2.6-49) 
all ?从 

Py(yr)= 》 Pxy(zi,yk) (2.6-50) 
all zi 


例 2.6-8 (饭店 排队 等 待 时 间 ) 某 个 饭店 已 经 发 现 新 来 顾客 的 等 待 时 间 的 联合 分 布 以 及 
包含 新 顾客 的 总 顾客 数 。 令 随机 变量 匈 表 示 新 顾客 连续 等 待 时 间 、 离 散 随 机 变量 入 表示 总 的 
顾客 数 。 

联合 分 布 为 

0， <0 或 <0 
(1 一 e-w/ko) 药 ， 0<n<5,w=0 
(1 一 ew/ho) 向 二 (1 一 ew/ (i),5<n<10,w>0 


10 
(1— eu/ 各 ) 苘 + (1—€-w/k) (车 ) ， 1l0<n,w==0 


其 中 参数 j 满足 0 <uo <ji。 参 数 的 这 种 选择 意味 着 顾客 越 多 、 等 待 时 间 越 长 。 
注意 到 歼 是 一 个 连续 型 随机 变量 , 而 和 N 是 一 个 离散 型 随机 变量 , 当 n>0 和 也 二 0 时 ,对 
于 某 些 兄 值 ,我们 将 这 个 联合 分 布 画 成 好 的 函数 ， 如 图 2.6-8 所 示 。 
我 们 下 一 步 求 混合 概率 质量 函数 
fw.N(w, n) 全 HVaFiwN (wn) 
= 二 {Fw,N(w,n) — Fw,N(w,n — 1)} 
w 


Fw.N (w, n) = 





0 0 
= Bi WN n) = Bi WN n = 1) 


fiww(Ww,n) 称 为 WW 与 1N=n| 的 联合 pdf。 通 过 计算 , 我 们 有 
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(1 一 ew/Ho) 汕 ， 0<n<5 
VnFw,N(w,n) = FwN(wv,n) — FwN(wv,n om 1)=u(w) 4 (1— ew/ ) 证 ， 5 多 各 准 10 
0， 其 他 
因此 
fwn (wn) = Vn Pw,n( 
p wnN) 三 一 一 7 
WN(W,n) = Bo Val WN wi, n) 
击 0<n<5 
= vu(w) oe 5<n<10 
0， 其 他 


由 联合 pdf,， 我 们 看 到 一 个 简单 的 观点 ， 在 吧 小 于 或 等 于 5 个 顾客 时 ， 较 小 的 平均 等 待 时 间 juo 
控制 着 随机 变量 WW, 而 当 n 大 于 5 个 顾客 时 , 较 大 的 平均 等 待 时 间 ji 控制 着 随机 变量 WW。 在 
更 为 详细 的 模型 中 , 平均 等 待 时 间 将 随 n 的 增加 而 上 升 。 


por 和 权重 和 





0 (a) Ww 0 (b) 


图 2.6-8 例 2.6-8 的 CDF。(a) 范 围 在 1 ~5 的 顾客 数 ; (b) 范围 在 6 ~10 的 顾客 数 


独立 随机 变量 ”对 于 两 个 随机 变量 和 和 了 如果 事 件 | 了 <x| 和 |Y<y| 对 x 和 2 的 每 一 个 组 
合 都 是 独立 的 , 则 称 也 和 了 是 独立 的 。 在 1.5 节 中 , 对 于 事件 4 和 B, 如 果 PLAB] =P[LA]PLB]， 
则 称 A4 和 BB 是 独立 的 。 取 ABA1X<xl NIY<yl, 其 中 AA1IX<zx|l, B=|1Y<y|, 回想 一 下 ， 
F(z) AP[X<2zZ],， 对 下 (Y) 也 类 似 。 对 于 每 一 个 x 和 yy， 当 且 仅 当 节 与 Y 独 立时, 可 得 出 





Fxy(z,y) = Fx (x)FY(y) (2.6-51) 
另外 
pb 2 Sg pF 
pe Se 
(2. 6-52 ) 
BFx(z) OFy(y) 
oOz Oy 
= fx(z)fy(y) (2.6-53) 
由 条 件 概 率 的 定义 , 对 于 独立 的 耻 和 了 Y, 有 
,Fxr(7,Y) 
Fx(rlY < vy) Fy(y) (2. 6-54) 
= Fx(7) 


对 Fy(y1 对 <x) 也 是 类 似 的 。 对 于 独立 的 事件 ,由 这 些 结果 (通过 求 导 ) 可 以 得 出 条 件 pdf 等 
于 边缘 pdf， 即 
Jxz 7 和 y)=Jx(z) (2.6-55) 
fy(y|X < 7)= fy(y) (2.6-56) 
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由 式 (2. 6-39 ) 很 容易 证 明 : 如 果 互 和 了 是 两 个 独立 的 随机 变量 , 那么 事件 |x, <X<zxs| 和 
1y1 < 了 <y;| 也 是 独立 的 , 即 
Plzli < 天 入 To2,y <Y< y= Pr <X<7r2lPly <Y < vy) (2.6-57) 
如 果 Fxy(x, y) =Fx(X)Fy(y), 利用 式 (2.6-39), 有 
Plzl <X<7r2y <Y < yl 


2.6-58 
= Fxy (x2,Yy2) — Fxy (72,y1) — Fxy (X19Y2) + Fxy (x1, yi) 人 ) 


= Fx(zo)FY(y2) — Fx(ro)Fy (Yi) — Fx(Ti)Fy(y2)+ Fx(Ti)Fy(y1) (2.6-59) 
= (Fx(z2) — Fx(71))(Fy(y2) — Fy (yi1)) (2.6-60) 
= Plz1 <X<7z2Ply <Y < yo] (2.6-61) 


例 2.6-9 假定 随机 实验 为 投掷 一 枚 均匀 有 蜗 子 一 次 ， 实 验 的 样本 空间 为 =11, 2, 3,4， 
5, 6| 。 我 们 定义 两 个 随机 变量 如 下 : 
Wa 结果 为 1 或 3 
0 ns 果 
Y(¢) A { -《 实验 结果 为 1,2 或 3 
0 ”其 他 实验 结果 
(a) 计算 单个 的 和 联合 的 PMF。 
(b) 计算 联合 CDF Fyxy(1, 1)、Fxy(3,，-0.5)、Fxy(5,，-1.5)。 
(Cc) 随机 变量 和 了 是 独立 的 吗 ? 
解 ” 由 于 山子 假定 是 均匀 的 , 每 一 面向 上 的 概率 为 1/6。 
(a) 所 以 单一 事件 |Z| 是 等 可 能 的 , 概率 为 PL 11 ] =1/6, 因此 
X(1) =2, X(3) =4， hp 果 ,， 有 
X(2) =X(4) =X(5) =X(6) = 
于 是 , PMF 的 Py 为 P.(0) =4/6, Pi(2) =176， I =1/6，, 对 所 有 其 他 k, Px(k) =0。 
类 似 地 ， 由 了 (2) 的 定义 ， 有 
y(1)=Y(4) =Y(5) = 了 (6) =0 
Y(2)= -1 和 Y(3) = -2 
由 此 可 得 PMF 的 值 P,(0) =4/6, Py( -1) =1/6, Py( -2) =1/6, 对 所 有 其 他 k, Py(k) =0。 
接 下 来 直接 根据 定义 计算 联合 PMF Pxy(i,j), 即 Pxy(i,7) =P[L 所 有 YZ: X(t) =i, Y(t) =j]。 
如 果 我 们 回想 一 下 联合 概率 是 2 的 子 集 的 交集 ,那么 这 项 计算 是 很 容易 的 , 例如 考察 角子 的 
面 为 2、4、5 或 6, 将 其 写成 子 集 |2, 4, 5}, 于 是 , Pxy(0, 0) = PL 所 有 :X(t) =0, Y(t) = 
0] =P[ {2, 4,5, 6 N{1, 4,5,6}]=P[!{4,5,6}]=1/2。 
类 似 地 , 我 们 计算 
Pxy(2,0) = Pl{1} nN {1, 
Pxy(4,0) = PI{3} n {1, 
Pxy(0,—1) = Pl{2, 4,5,6} N {2} = Pla) - 1/6 
Pxy(2,—1) = PI{1}N {2H = PI¢] =0 
Pxy(4,—1) = P[{3} N {2H = PI¢] = 0 
Pv- ,一 2) = Pl[{2, 4,5,6} N {3H = PI¢] =0 
‘Y (4, 


4,5, pl =1/6 
4, 5， 


Pxy (2, = Pl{1}N{3H] = Pl¢] = 0 
= Pl{3}n {3H = PI{3H = 1/6 
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(b) 为 了 计算 联合 CDF, 把 这 些 点 和 关联 的 概率 画 出 来 是 有 帮助 的 ,这些 概率 在 括号 里 
标注 出 来 ,从 图 可 以 看 出 
FExy(1l,1) = Pxy(0,0) 十 Pxyr(0,1) 十 Pxyr(0,2) = 2/3 


类 似 地 , Fiy(3，-0.5) = Pr(0，-1) +Pr(2，-1) +Po(0，-2) +Prr(2，-2) = 全 


和 Fxy(5, -1.5) =Pxy(0, -2) +Prr(2，-2) +Pxy(4, -2) = 亏 。 

(Cc) 要 考察 非 独 立 性 ， 只 要 找到 一 点 ， 其 中 的 pdf( 或 CDF ) 不 能 分 解 就 足够 了 。 考 虑 
Pr(2, 0) =1/6, 而 Px(2)Py(0) =1/6 x4/6 =1/9, 所 以 , 随机 变量 信和 了 不 是 独 
立 的 。 








与 例 2.6-9 有 关 的 概率 , 括号 中 的 数 是 到 一 点 的 概率 , 如 Pxy(0, 0) =1/2 


例 2.6-10 (独立 高 斯 随机 变量 的 联合 pdf) 


1 。-(L/a2c2)(z2?+92) 





fxY (TY) = ro3 (2.6-62) 
- l e 一 去 (z /co ) 1 e—#(y /0°) 
2702 V270? 


因此 了 及 和 了 是 独立 的 随机 变量 。 


例 2.6-11 (独立 高 斯 随机 变量 的 计算 ) 两 个 随机 变量 的 联合 pdf 为 fy (X,Yy) =[2m] 
exp| -地 + )|， -oo <X,Y <%m，, 计算 了 和 了 被 限制 在 下 列 区 域 里 的 概率 (a)2 x2 区 


域 ; (b) 单 位 圆 。 
解 
(a) 令 咒 ， 表示 正方 形 平 面 ， 那 么 


PE: (X,Y) e Ri]= if fxy (7,y)drdy (2.6-63) 
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= 2erf(1) x 2erf(1) = 0.465 (2.6-65) 





(b) 令 只 ,表示 单位 圆 的 平面 ,那么 


Pl: (X,Y) e Ra] = || fev waray (2.6-66) 


二 | [27] exp -3 + 由 | dzdy (2.6-67) 





代入 7A Vw + 和 tan09Ay/x, 无 穷 小 的 区 域 drdy 一 rdrd9 得 


1 Es 
Ple: (X,Y) e Ro] = i exp (-3") rdrdg (2.6-68) 

i 27 1 1 

到 二 | | rexp (-3") d| db (2.6-69) 

0 0 

1 pi 

一 | rexp (-3") dr (2.6-70) 
0 
1/2 

= | edz zsr (2.6-71) 
0 

= 0.393 (2.6-72) 


含有 非 独立 随机 变量 的 联合 概率 密度 ” 留 给 读者 思考 所 有 联合 CDF 或 pdf 的 分 解 ， 下 面 
考虑 一 种 含有 非 独立 随机 变量 的 情况 。 
例 2.6-12 (计算 联合 CDE) 考 虑 一 种 简单 但 不 可 分 解 的 联合 pdf 
fxr(7,y)= A(z+Yy) 0<z<!1, 0<y 科 1 (2.6-73) 
二 0， 其 他 (2.6-74) 
回答 下 列 问 题 。 
(i) 4 是 多 少 ? 我 们 知道 


| | fxy(z,y)drdy=1 
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因此 


1 1 1 1 

A ’ A # = 

| dy| ZidZ 十 | dz| /dy=1 人 一 4=1 
(这 ) 边缘 pdf 是 多 少 ? 

co 此 1 

交 同 = | fv hy = | (z 十 明 = (vy+ 沪 问 

oo 0 0 


| 0 过 wa 1 
0， 其 他 
类 似 地 


fr(y) = | jxy(z;,V)dz 


_ fvy+3, 0<y<1 
中 其 他 
( 道 )Fxy(X,Y) 是 多 少 ? Fywy(X, Y) AP[X<x, 了 <y]，, 所以, 我 们 必须 在 顶点 为 (X,Y )， 
(ZY，-o),，(-o，-o) 和 (-o，2) 的 无 限 和 矩形 上 积分 。 然 而 ， 只 是 在 这 个 抵 形 
与 fxy(X, Y) 关 0 的 区 域 重 登 部 分 积分 ， 即 写成 Supp (JP) 的 pdf 的 支撑 区 域 将 是 对 积 
分 有 贡献 的 
Fxy(7z,y) = | dz | dy fxy (7z',y) 


(a)wx 宇 1, Yy 宇 1[ 参见 图 2.6-9(a)] 


1 1 
Fxy(z,y) = | | ea 
0 0 


(b)0 <x<1, y 宇 1[ 参见 图 2.6-9(b)] 
1 I 
Fxy (x,Y) = | dy (| ae 的 


(c)0 <y<1, XxX 三 1 [参见 图 2.6-9(c) ] 


y 1 
Pr -| | +d dy = $y+) 


y’=0 


(d)0 <x<1, 0 <y<1 [参见 图 2.6-9(d) ] 


y ” 7 / / / yrT 
Fxy(z,y) = | | (z+Yy)dr dy = 3 (T+Y) 
y=0 dr‘=0 
(e)x <0, VY 任意 ; 或 者 yy <0, XY 任意 [参见 图 2.6-9(e)] 


Fxy(7,y)=0 
(f) 计 算 PIX+Y<1]。 点 集 是 由 直线 XX+Y =1 或 Y=1 一 分 开 的 半空 间 。 然 而 ,只 有 这 个 
半空 间 与 fxy(X, Y) 关 0 的 那个 区 域 相交 的 部 分 才 对 积分 有 贡献 [参见 图 2.6-9(f) ], 因此 
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PIX +Y< 1] = | xy(z'， y )dr’ dz 
rz'+y’<1 
1 1 一 Z 
PIX+Y<1= | | (zZ 十 罗 )dy dr’ 
=0 Jy’=0 


zr’ 





图 2.6-9 (a) 到 (e) 的 阴影 区 域 是 supp(Jfxy) 与 事件 | - m <X<x，-% <Y<y| 有 关 
的 点 集 的 交集 ,在 (f) 中 ,阴影 部 分 是 supp (fxy) 与 1 了 +Y<1| 的 交集 


在 前 一 个 例子 中 , 我 们 讨论 了 不 可 分 解 的 pdf, 联合 pdf 不 可 分 解 的 男 一 个 例子 是 


1 一 1 5 
f(D) = i (0 tm)) 0.678) 


当 pz0 时 ， 和 和 了 不 是 独立 的 。 
在 式 (2.6-75) 中 , 当 p =0 时 , fy(x, 2) 分 解 













为 f(z)fi(y), 节 和 了 变 成 了 独立 的 随机 变量 。 人 
fq(z,Y) 的 图 形 如 图 2.6-10 所 示 , 图 中 o =1。 hl 
在 第 4 章 将 会 看 到 , 式 (2.6-75) 是 两 个 随机 Mn 
4h 


) 
NN 










变量 的 联合 高 斯 概率 密度 的 特例 , 在 讨论 了 参数 
Pp 的 意义 以 后 , 再 对 这 一 重要 的 pdf 做 进一步 的 
讨论 , 这 一 工作 将 在 第 4 章 进 行 。 在 第 5 章 会 看 
到 式 (2.6-75) 及 其 推广 能 够 用 和 矩阵 形式 紧凑 地 图 2.6-10 联合 高 斯 概率 密度 的 图 形 
表示 。 





fxy(e) = (0m)! exp |-3(e? + op) 
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例 2.6-13 ( 非 独 立 高 斯 随机 变量 的 计算 ) 再 次 考虑 例 2.6-11(b) 的 情况 , 但 联合 pdf 为 
fxy(z,y) = [2rV1— p31exp - 
和 前 面 一 样 ， 令 咒 。 表示 单位 圆 的 平面 ,那么 
Pl2: (X,Y) € Ra]= jj fxy (7,y)drdy (2.6-76) 


二 十 到 一 2pey) 


ks | 
-| vA ep (a + -200 ) tray (2.6-77) 


¥ 





用 极 坐 标 替换 ,7A VX +Y ,tan9AYy/X, 得 
1 


2T rl 1 l 
PIC: (X,Y)eR =- 一 | | (-; .2 9pr2 bsi 0 db 
[人 ) 2] yr rexp 21 二 Of cosOsing) | dr 


K 27 1 . ， 
到 一 | | rexp (—r? [2K2(1 — psin20)|) drdb 
TJo Jo 








A 1 > 
= 一 二 一 = 和 sin20=2sin0cos0 
2V1—p 
K 27 1 ” . A 5 
= exp— ([2K*(1— psin20)]z) dz| dg 且 > 三 六 
2 Jo 0 
二 | = (1 [2K2( — psin20)| dg 
~ 27 Jo 2K?2(1— psin20) a Ra 








__1 | (2 0 ) a 
47K 1 一 psin20 
当 p =0 时 , 我们 得 到 概率 为 0.393, 与 例 2.6-10 的 结果 相同 。 然 而 ， 当 p 关 0 时 ， 积 分 不 能 用 
闭合 形式 表示 ,这 个 概率 必须 进行 数值 计算 ,下面 提供 了 计算 已 CC: (XX, 了) eR,) 的 MATLAB 
程序 , 结果 显示 在 图 2.6-11 中 。 
MATLAB. M file for computing. PLZ:(X, Y) < MR,| 


function[Pr]=corrprob 
p=[0:100]/100.; 
qd=p*2*pi; 
Pr=zeros(1,100); 


0 


K=.5./sqrt (1-p. 2); 


for i=1:100 
f=(1-exp(-2*K(i) “2*(1-p(i)*sin(2*q))))./(1-p(i)*sin(2*q)); 
Pr(i)=sum(f)/(4*pi)/K(i)*(2*pi/100); 

end 
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plot (p(1:100) ,Pr) 

title( ‘Probability that two correlated Gaussian RVs take values in the 
unit circle’) 

xlabel(‘Correlation coefficient rho’) 

ylabel(‘Probability that X,Y) lie in the unit circle’) 


1 -2 
e “6(Y -2Z)， 因 此 
27 





在 4.3 节 , 我 们 证 明了 当 p 一 1 时 , fyy(X, Y) 一 


站 
PIC:(XY) € Ro| = | 一 -一 
[¢: (X,Y) € Rol 川 六 (2.6-78) 
0.707 1 
e057 56(z — y)drdy = ———e 0 dz (2.6-79) 
-0.707 V2T 
三 0.52 (2.6-80) 
这 一 结果 在 图 2.6-11 中 也 能 看 到 。 
a 两 个 高 斯 随机 变量 取 单 位 圆 内 值 的 概率 
0.54 
岗 
泛 0.52 
0.5 
名 0.48 
英 
站 0.46 
> 
x 0.44 
0.42 
0.4 
0380 01 02 03 04 05 06 07 08 09 1 


相关 系数 p 
图 2.6-11 例 2.6-13 中 MATLAB 的 计算 结果 
条 件 密度 ”我们 现在 推导 两 个 随机 变量 的 条 件 密度 的 一 个 有 用 公式 。 这 个 公式 是 基于 


式 (1.6-2) 给 出 的 条 件 概 率 , 由 式 (2. 6-39), 我 们 有 


Plz<X<z+Ary< 工 生 y 十 Ay] 
(2.6-81) 
二 Fxy(z 十 Az,y 十 Ay) 一 Fxy (X,Yy+ Ay) — Fxy(z+ Azx,y) 十 Fxy (x,y) 


两 边 除 以 AxAy 并 取 极 限 , 这 时 右边 可 以 看 成 Fxy(x, y) 对 x 和 Y 的 偏 导 数 , 可 以 写成 


Plz <X<z+Ary<Y<y+AYy _ PFxy a py(z,y) 
Ar 一 0 Ar Ay Or Oy A 本 


因此 , 对 于 小 的 Ax、Ay 
Plz<X<7r+Ary <Y<y+Ay NO fxr(ryArAY (2.6-82) 


这 是 式 (2.4-6) 在 二 维 时 的 等 价 形式 。 考 虑 
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Pli<X<7r+Ary<Y<y+Ay 
Plz <X<r+Az) 





Ply<Y<vy+Aylrz<X<7r+Ar|= 











2.6-83 
~ fxY (my)Ar Ay 
jx(Z)Arz 
但 左边 的 量 是 
Fylp(Y+ Aylz <X<r+Ar)— Fys(ylr <X< r+Az) 
其 中 BA 1x <X<x + Ax| 因此 ， 由 式 (2. 6-3) 有 
jm THsW+Aye <X<r+Ar)— Fyp(ye <X s+ Az) 
6 Ay 
_ fxY(7z;y) 
fx(7) (2.6.84) 
OFx|y (y|X = 7) 
三 hy 
= fylx(y|x) 


frx(y1%) 的 表示 形式 提醒 我 们 这 是 事件 | 了 =xz| 给 定 的 条 件 下 了 的 条 件 pdf。 于 是 , 可 得 到 一 
个 重要 的 公式 








frixle) = PE, fx() #0 (2.6.85) 
如 果 在 式 (2.6-48) 中 使 用 式 (2.6-85) , 则 可 以 得 到 一 个 有 用 的 公式 
FW) = | xm 四 产 GDdz (2.6.86) 
又 
fev) = ,yy) #0 (2.6.87) 


frwuy(xw1y) 称 为 事件 {Y=y1 给 定 的 条 件 下 的 条 件 pdf。 由 式 (2.6-85) 和 式 (2.6-86 ) 可见 
fylx (yr)fx(7) 
fy(y) 





fxlr (zly) = (2.6-88) 


下 面 用 一 个 例子 加 以 说 明 。 

例 2.6-14 (激光 相干 性 ) 假 定 我 们 观测 到 一 束 由 激光 器 发 射 的 光 场 U(t), 激光 是 时 间 
上 相干 的 ,也 就 是 对 于 任意 两 个 时 刻 五 和 妃 ， 如 果 刀 -二 不 是 很 大 , 光 就 不 是 统计 独立 的 | ， 
令 有 AU(ti), YAU(ts) 且 t >ti。 假定 卫 和 了 可 以 看 成 是 联合 高 斯 的 D， 联合 pdf 如 式 (2. 6-75 ) 
所 示 , 但 0 =1。 当 p 关 0 时 , 耻 和 了 不 是 独立 的 , 利用 式 (2.6-47) 和 式 (2.6-48) 的 定义 ,可 以 
证 明 边 缘 概 率 密度 fx(X) 和 .fy(y) 分 别 都 是 高 斯 的 , 我 们 将 在 第 4 章 中 证 明 这 一 点 。 由 于 均值 
都 为 0、 方 差 都 为 1， 于 是 可 得 边缘 概率 密度 


2 1 1 2 


jk- 








@ ”由 于 光子 特性 , 光 常用 泊 松 分 布 来 建 模 , 正如 在 第 1 章 中 看 到 的 那样 , 对 于 大 的 光子 计数 器 , 高 斯 分 布 可 以 很 好 地 近似 泊 松 
分 布 。 当 然 , 光 密 度 不 能 为 负 , 但 如 果 均 值 与 标准 差 相 比 很 大 时 (4 > o)，, 高 斯 概率 密度 在 那里 是 非常 小 的 。 


第 2 章 随机 变量 97 


都 是 以 零 为 中 心 的 。 现 在 假定 在 吉 时 刻 测 得 的 光 为 下 即 久 =x， 在 这 些 新 知识 情况 下 ,了 的 
pdf 仍 是 以 零 为 中 心 吗 ? 即 卫 的 平均 值 O 仍 是 零 吗 ? 

解 我 们 希望 计算 fx(yIx)。 应 用 式 (2.6-85) 

Xx 


fylx(y|7) fx(z) 


1 
fylx(y|z) = J exp { -a 十 妇 一 2pey) 十 ;| 


将 上 式 整 理 后 , 得 





|X 有 Z2 十 2 一 207 一 2Z2(1 — 02) 
ev "1 2 一 万 ) | 


将 指数 里 的 二 次 项 组 合成 完美 的 平方 项 , 得 





Eg 1 -和 ) 
fix) = -ep (一 风 人 
因此 , 当 畴 =X 时 ,了 的 pdf 是 以 Y=px 为 中 心 的 , 很 显然 不 是 零 。 如 果 px >0, 了 有 更 多 的 可 
能 性 取 正 值 ， 如果 px <0, 了 有 更 多 的 可 能 性 取 负 值 。 这 与 耻 没 有 观察 到 的 情况 形成 鲜明 的 对 
照 , 这 时 的 了 值 更 多 的 可 能 性 是 零 。 


故障 率 的 估计 是 条 件 事 件 和 条 件 概 率 的 主要 应 用 , 这 在 下 一 节 中 讨论 。 


2.7 故障 率 


在 现代 工业 化 社会 , 设备 更 新 、 人 寿 保 险 的 发 售 等 重要 活动 , 都 有 目标 故障 率 的 仔细 记 
录 , 这 些 目标 是 机 器 或 人 。 例 如 , 考虑 人 寿 保 险 的 成 本 : 给 一 个 25 岁 的 妇女 确定 的 人 寿 保险 
价格 与 一 个 75 岁 的 老人 处 于 同一 水 平 是 不 划算 的 。 对 于 老人 的 "故障 "概率 ( 即 死 亡 ) 要 比 年 
轻 妇 女 大 得 多 。 因 此 , 合理 的 定价 策略 就 要 求 保险 公司 以 更 高 的 价格 为 老人 保险 , 应 该 高 多 少 
呢 ? 这 可 以 由 精算 表 确 定 , 精算 表 是 在 多 种 条 件 下 平均 寿命 的 估计 。 一 个 重要 的 条 件 是 “你 一 
直 活 到 ( 某 个 年 龄 )”。 换 句 话 说 , 在 给 定 你 已 经 活 到 85 岁 的 条 件 下 , 你 将 活 到 86 岁 的 概率 要 
远大 于 你 还 是 婴儿 的 条 件 下 你 将 活 到 86 岁 的 概率 。 

令 耶 表示 故障 的 时 间 , 由 贝 叶 斯 定理 , 在 目标 已 经 存活 到 上 的 情况 下 ,故障 将 在 间隔 
[t, t+dt] 上 发 生 的 概率 可 以 写成 
Plt<X<t+dtlX >4t= Ee a 
由 于 事件 | 对 > 包含 了 事件 |t < 有 <t+dt|, 可 得 出 P[t<X<t+dt, X>t] = Plt<X<t+dt]。 
因此 





(2.7-1) 


Plt<X<t+dt 


Plt<X<t+dtlX > 二 = PIX > 


(2.7-2) 


注意 到 PIt < 了 <t+dt] =Fy(t+dt) -Fy(t), 于 是 





@ 完整 的 概念 将 在 第 4 章 中 给 出 。 
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Fx(t+dt)— Fx(t) 








Plt<X<t+dtlX>1t= 1 — Px) (2.7-3) 
CDF Fy(t+dt) 在 点 t 处 用 泰勒 级 数 展开 (假定 Fx 是 可 导 的 ), 得 
Fx(t+dt)= Fx(t)+ fx(t)dt 
将 这 一 结果 应 用 到 式 (2.7-3) 中 , 得 
Plt<X<t+dtlX >4 = a 
S a(t) at 
ee fx(t) 
A x(t 
(= 二 下 三 (2.7-5) 


目标 a(t) 称 为 条 件 故 障 率 , 尽管 它 还 有 其 他 的 名 字 , 如 冒险 率 、 死亡 率 、 密 度 率 、 瞬 时 故障 率 
或 简单 地 称 为 故障 率 等 。 如 果 上 时 刻 的 条 件 故 障 率 大 , 那么 存活 到 t 的 目标 在 下 一 个 At 秒 要 
比 低 条 件 故障 率 的 目标 有 更 大 的 故障 概率 。 包 括 人 在 内 的 许多 目标 都 有 一 种 随时 间 变 化 的 故 
障 率 。 在 目标 的 早期 生活 期 间 , 由 于 固有 的 或 先天 的 缺陷 , 故障 率 可 能 比较 高 。 在 这 个 早期 过 
去 以 后 , 目标 可 能 享有 近似 为 常数 故障 率 的 有 用 生活 期 。 最 后 ， 随 着 年 龄 的 增加 和 部 件 的 损 
耗 ， 故 障 率 就 会 显著 增加 而 导致 快速 而 又 冷酷 地 发 生 故 障 或 死亡 。 

注意 到 Fx(t+dt) -Fx(t) =Fx(ti)dt=dFx， 随 机 变量 和 的 pdf 可 以 按 式 (2.7-3) 计 算 ， 
于 是 有 








dx 
Tf = ot) dt (2.7-6) 
通过 积分 可 以 求解 上 式 。 首 先 回顾 一 下 积分 
『 dy a | dy _ 而 dy _In 工 一 加 
yo 1 一 4 1 一 yo 2 1—y1 y l= yl1 


其 次 , 利用 下 列 事实 : 
(i) Fx(0) =0， 因 为 我 们 假定 目标 在 上 =0( 目标 开 机 的 时 间 ) 开 始 工作 。 
(ii) Fx(o ) =1,， 因 为 我 们 假定 目标 最 终 是 要 坏 掉 。 那 么 


Fx(t) t 
| 2 lIn[1 ~ Fx(t)] = | al(t’)dt 
Fx (0) l= 0 





最 终 可 得 
es - | a(t)et| (2.7-7) 
由 于 政 (o ) =1, 所 以 肯定 有 
| 亲本 三 上 (2.7-8) 
趟 (2.7.7) 是 故障 时 间 玉 的 CDF, 对 式 (2.7-.7) 求 导 , 我 们 得 到 pdf 
关 O=at0exsp|- | sur (2.7.9) 
条 件 故障 率 a( 1) 的 不 同 模型 导出 不 同 的 pdf。 
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例 2.7-1 (指数 型 的 条 件 故 障 率 ) 假 定 卫 服从 指数 型 的 概率 分 布 , 即 Fy(t) =(1 -= 
e“)wu(t)， 则 


A A 
1—Fx(t) et | 


因此 , 条 件 故障 率 是 一 个 常数 。 相 反 ， 如 果 al(t) 是 常数 ,故障 时 间 就 服从 指数 概率 分 布 。 

要 注意 的 重要 点 是 条 件 故 障 率 并 不 是 pdf[ 参见 式 (2.7-8) ] 。 给 定 | 了 Xt , 立 的 条 件 密度 
可 对 条 件 分 布 求 导 得 到 , 例如 

Fx(z|X >t) 人 EPX< zxX > 
PIX< 7,X >1 (2.7-10) 
PIX > 

很 显然 , 如 果 t >x, 那么 事件 | 了 <x, 站 >t| 就 是 一 个 空 集 , 如 果 t<x, 那么 |X<x, 对 >t| = 
1t < 有 <x | , 于 是 





alt) 








d > 
Fx(r|X >t)= | Fx(7) — Fx(t) i (2.7-1ly 
1— Fx(t) 人 
因此 
0， t>7 
fx(r|X zt)= | fx(z) 二 (2.7-12) 
1—Fx(t)” ~ 
Qa(t) 与 fx(X1IX=t) 之 间 的 联系 是 通过 比较 式 (2.7-12) 与 式 (2.7-5) 得 到 的 ， 即 
fx(tlX =1)= al(t) (2. 7-13) 


例 2.7-2 (Itsibitsi 的 故障 ) 奥 斯 卡 是 一 名 大 学 生 , 他 有 一 辆 使 用 了 9 年 的 Itsibitsi 汽车 ， 
这 是 一 辆 由 于 可 靠 性 高 而 著名 的 进口 汽车 。 假 定 在 正常 行驶 10 000 英里 /年 的 情况 下 ,基于 该 
领域 数据 的 条 件 故障 率 为 a(t) =0.06tu(t)，, 为 了 庆祝 他 毕业 ,奥斯卡 开始 了 30 天 横 跨国 家 
的 汽车 旅行 。 奥 斯 卡 的 Itsibitsi 汽车 在 这 次 旅行 中 第 一 次 出 故障 的 概率 是 多 少 ? 
解 首先 计算 pdf fx(t) 
fx(t) = 0.06te— lo 0.06t dtu 人 bt) (2.7-14) 


= 0.06te—003t w(t) (2.7-15) 


其 次 , 将 30 天 转换 成 0.0824 年 。 最 后 , 我 们 注意 到 
Pl[9.0 < X < 9.0824] 





P[I9.0 < X< 9.0824|X >9= 


1 — Fx(9) 
其 中 , 我 们 利用 了 贝 叶 斯 公式 以 及 事件 19 < 了 <9.0824| NX>9| = 19 < 有 <9.0824| ,由 于 
9.0824 
Pl[9.0 < X < 9.0824] = 0.06 | EPE 胡 (2.7-16) 

9.0 
(9.0824)? 

_ 0.06 | e-0.03zdz ”并且 zz 会 如 (2.7-17) 

2 Jo.o0) 
0.06 1 / -0o.03(9.0)2  .—0.03(9.0824)? 
2 0.03 (e 2 ) Pe 
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_ (em 加 ee (2.7-19) 


~ 0.0038 (2.7-20) 
和 
1— Fx(9) = 0.088 
奥斯卡 有 3.8 x10 /8.8 x10 悦 即 0.043 的 概率 在 未 来 的 30 天 里 遇 到 故障 。 
顺便 说 一 下 , 一 辆 新 购 的 Itsibitsi 在 10 年 里 至 少 有 一 次 故障 的 概率 为 0.95。 


小 结 


本 章 讨论 的 内 容 是 本 书 的 重点 , 我 们 从 定义 一 个 随机 变量 为 从 样本 空间 到 实数 直线 的 映 
射手, 然后 引入 了 点 函数 F(x%), 称 为 累积 分 布 函 数 (CDF), 它 可 以 计算 事件 |¢: Ye 0， 
X(Z) <x| 的 概率 。 由 CDF 推导 出 概率 密度 函数 (PDF) 和 概率 质量 函数 (PMF), 并且 讨 论 了 
许多 有 用 的 和 特殊 的 概率 分 布 。 我 们 证 明了 如 何 用 6 函数 去 建立 离散 型 和 连续 型 随机 变量 的 
统一 理论 。 接 着 讨论 了 联合 分 布 、 泊 松 变 换 、 逆 泊 松 变换 以 及 这 些 概 念 的 应 用 。 

我 们 讨论 了 条 件 概率 并 展示 了 在 条 件 故障 率 中 的 应 用 , 条 件 故障 往往 在 开始 高 , 在 中 段 为 
常数 ,而 在 未 端 高 , 这 是 确定 “时 间 -故障 "的 概率 分 布 的 基础 。 


习题 


(* 星 号 的 习题 是 一 些 高 级 题 , 可 能 需要 更 多 的 工作 和 附加 的 资料 。) 
2.1 在 n 次 试验 中 成 功 k 次 (忽略 次 序 ) 的 事件 服从 二 项 式 分 布 b(k, n ; p)。 令 n=10, p=0.3。 定 义 随 


机 变量 
1, 0<k<2 
>» 2 让 委员 
oo 5 < 大 入 8 
4, 8<k<10 
计算 概率 已 和 = 四 ,7=1,，…, 4。 画 出 CDF Fy(x) =P[X<x]( 对 所 有 的 XY)。 
“2.2 考虑 概率 空间 (02, 下 , 已 ) , 给 出 一 个 例子 , 用 1 ~2 句 话 来 具体 化 , 其 中 所 有 的 实验 结果 具有 和 零 概率 。 
提示 : 根据 随机 变量 来 考虑 。 
2.3 一 个 餐厅 因 它 与 众 不 同 的 服务 而 著名 , 顾客 在 引起 服务 员 注意 之 前 要 等 待 的 时 间 瑟 ( 单 位 为 分 钟 ) 服 


从 下 列 CDF': 

加 <r< 
(本 Usasl 
X 
eA 1<z<2 
4 攻 

2 网 二 让 工 2<z<10 
2 
ee 10<zx<20 
20 . 
1, r=20 


(a) 画 出 Fy(x); (b) 计 算 并 画 出 pdf fy(x), 验证 概率 密度 的 面积 确实 为 1; (c) 顾客 必须 等 待 如 下 
时 间 的 概率 : (1) 至 少 10 分 钟 ，(2) 小 于 5 分钟，(3)5 ~10 分 钟 之 间 ，(4) 刚 好 1 分 钟 。 
2.4 根据 Kxr(z) 和 已 和 =zZ]( 其 中 z=a,b), 计算 下 列 事件 的 概率 : |X<al、1X<al、 lasX<bl、 
{lasX<sb|)、 la<X<sb|l 和 |a <X<b|。 
2.5 在 下 列 pdf 中 , 计算 归 一 化 所 要 求 的 常数 BB: 柯 西 分 布 (a < % , B >0) 


“2.6 


2.7 


2.11 
2.12 
2.13 


2.14 
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B 
1x) = TH 7B 





OO<T<o00 


麦克 斯 韦 分 布 (a >0) 
yf Brie-*/®, rz>0 

fx(o)= {3 i 
对 于 下 列 更 高 级 的 pdf, 计算 归 一 化 所 要 求 的 常数 B: 
贝塔 分 布 (b> -1,c> -1) 

,1 [| Ber(l=w) Owel 

fx(7) = 1 其 他 

参见 参考 文献 [2 -6] 的 256 页 的 式 (6. 2-1) 
六 努 布 (0 >0, = 2 心 ) 


fx (7) 二 4 exp( 一 Z/2c2)， 


噪声 电阻 产生 的 电压 为 v,(), 在 t= 时 , 噪声 电 平 Av (th ) 是 一 个 高 斯 随机 变量 , pdf 为 
fx(x*) = | 3( < | 

计算 并 画 出 |IXI >ko (k=1, 2，…) 的 概率 。 

计算 瑞 利 pdf[ 参见 式 (2.4-15) ] 的 Fx(ko), k=0, 1,2,…。 

写 出 伯 努 利 分 布 、 二 项 式 分 布 和 泊 松 PMF 的 概率 密度 函数 (利用 6 函数 ) 。 

随机 变量 的 pdf 如 图 P2. 10 所 示 。 括 号 中 的 数 表示 面积 ，(a) 计 算 4 的 值 ; (b) 画 出 CDF; (c) 计 算 

P[2<<3]; (d) 计 算 P[2 <X<3] ; (e) 计 算 F(3)。 








| 
| 
| 
| 
1 
1 
1 
| 
| 
| 
1 


2 3 4 X 
图 P2.10 混合 随机 变量 的 pdf 


随机 变量 卫 的 CDF 为 Fx(x) =(1-e“)wu(x), 求 事件 |Z: X(Z) <1 或 X(Z) >21 的 概率 。 
随机 变量 互 的 CDF 如 图 P2. 10 所 示 , 括号 中 的 数 表示 面积 , 计算 4 的 值 , 计算 PL2 <X<4]。 
(投掷 两 枚 硬币 ) 随机 实验 是 由 同时 投掷 两 枚 不 同 的 硬币 组 成 。 样 本 空间 Q= 1&1, bo, 31。 定 义 两 个 
随机 变量 

X(t1)=0, Xi2) =0, 3) 一 1 

Y(t1)=1, Y(62)= -1, Y(63)=1 
(a) 计 算 所 有 可 能 形 如 PLZ: X(Z) =a, Y(Z) =B, ae 10, 1 ,Be | -1,1| 的 联合 概率 。 
(b) 确 定 也 和 了 是 否 是 独立 的 随机 变量 。 
随机 变量 也 的 pdf 如 图 P2. 14 所 示 , 括号 中 的 数 表示 对 应 冲 激 函 数 的 面积 , 所 以 


和 ,[ Ax?, |z| < 2 
1644z 一 :{ 0， 其 他 





fx(7) = 36(z 十 2) 十 lr H 1) 十 


注意 : 密度 fz 在 [ -2, 2] 之 外 是 零 。 
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(a) 求 常数 4 的 值 。 
(b) 画 出 CDF Fx(x)，, 请 标 出 你 图 中 有 意义 的 点 。 
(c) 计 算 Fx(1)。 


2.15 
“2;16 


2.17 


2. 19 


2.20 


(0) 求 PI =1 <2] 


ff) 


(1/8) (1/16) (1/16) < 


天 
一 一 
-2 一 0 得 > 


图 P2.14 习题 2. 14 中 混合 随机 变量 的 pdf 


考虑 PMF 为 6(k ; 4, 1/2) 的 随机 变量 , 计算 P[X =klX 为 偶数 ] ,大 =0，…，4。 
继续 例 2. 6-8, 求 边缘 分 布 函 数 Fy(n), 求 并 画 出 对 应 的 PMF Py(n)。 此 外 , 求 条 件 概率 密度 函数 
Jfw(wIN=n) =fmw(Ww1n)[fmrx(w1n) 是 给 定 N=n 的 条 件 下 WW 的 pdf]。 
由 两 个 工厂 生产 的 灯泡 的 故障 时 间 (单位 为 月 ) 分 别 服 从 下 列 CDF : 
Fx(z)=(1 一 erz/5)u(z) 工厂 A 








Fx(z)= (1—-e-*/2)u(z) 工厂 B 
工厂 B 生产 的 灯泡 是 工厂 A 的 3 倍 , 灯泡 是 不 能 用 肉眼 分 辨 的 ,两 个 厂 的 灯泡 混在 一 起 卖 。 随 机 购 
买 的 灯泡 将 至 少 在 下 列 时 间 损 坏 的 概率 : (a)2 个 月 ; (b)5 个 月 ; (c)7 个 月 。 
证 明了 在 给 定 事件 A4=|1b<X<al 条件 下 的 条 件 分 布 为 
0， xX<b 
Fi(x) -Fi(b) 
Fr(a) -Fx(b)” 
Ls X=a 


已 经 证 明 在 银行 排队 等 待 的 人 数 了 服从 泊 松 分 布 , 即 


Frxr(ZI4) = b<rx<a 


x 
PlY =kIX =d]=e k=0,r>0 


假定 银行 柜台 人 员 的 标准 化 服务 时 间 x( 即 为 一 个 客户 处 理 一 笔 业 务 的 服务 时 间 ) 是 常数 。 然 而 , 把 
服务 时 间 看 成 随机 变量 更 合适 。 为 了 简单 起 见 , 令 子 是 均匀 分 布 的 随机 变量 , pdf 为 

fx(z) = $lu(z) —u(z —5)] 
那么 , PLY=kIX=x] 仍 是 泊 松 分 布 , 但 PLY=k] 有 时 是 其 他 分 布 。 计算 PLY=k] , k=0, 1, 2, 对 一 
般 大 的 答案 可 能 比较 困难 。 
假定 在 总 统 选举 中 , 对 两 个 候选 人 ( 候选 人 1、 候选 人 2) 投 票 是 等 概率 p =0.5。 假 定 所 有 投票 是 独立 
的 , 假定 挑 出 8 张 选票 来 进行 检查 , 仿 耻 表示 8 张 选票 中 投 给 候选 人 1 的 票数 , 令 4 表示 投向 候选 人 
1 的 票数 超过 4 的 事件 , 即 4 = |X>4|。 
(a) 随机 变量 对 的 PMF 是 多 少 ? 注意 : PMF 应 该 是 关于 也 =k =4 对 称 的 。 
(b) 求 并 画 出 条 件 分 布 函数 F(zx14) ( -1<z<10)。 
(c) 求 并 画 出 条 件 概 率 密度 fx(x14)( -1<z<10)。 
(d) 求 投 给 候选 人 1 的 票数 在 4 ~5 之 间 的 条 件 概率 , 即 PL4<X<514] 。 
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2.21 


2.22 


2.24 


“2. 25 


2.28 


2.29 


随机 变量 和 和 了 有 联合 pdf 为 
2(1-7),0<x<2,0<y<1 


frr(x,y) = | 
0， 其 他 

求 : 

(a) PL[X<0.5]。 

(b) Fr(0.5)。 

(c) PLX<0.5IY<0.5]。 

(d) P[Y<0.5IX<0.5]。 


考虑 他 和 了 的 联合 pdf 为 
1 1 [f。 2 1 2 
fxY (ty) = Be AD 9 lu(z)u(y) 


和 和 了 统计 独立 吗 ? 计算 10 <X<3, 0 < 了 <2| 的 概率 。 
考虑 随机 变量 也 , pdf fy (x) 为 
4(1+Z)， -1<x=<0 
rtw) -as -XxX), 0<x<l 
0， 其 他 
(a) 求 4 并 画 出 fx(x)。 
(b) 画 出 Fx(%)、pdf。 
(c) 求 点 6 使 得 PLX>b] =(1/2)P[X<b]。 





证 明 式 (2. 6-75) 当 p =0 时 分 解 为 友 (X)fy(y), (xX) 和 f(y) 等 于 多 少 ? 当 g=1 和 p=0 时 ， 
z| - 立 <X< 了 -了 < 时 过 3 | 是 多 少 ? 


考虑 一 个 受到 噪声 污染 的 通信 信道 。 令 也是 发 射 信号 的 值 , 了 是 接收 信号 的 值 。 假 定 在 给 定 |X=z| 
的 条 件 下 了 的 条 件 概率 密度 为 高 斯 的 ， 即 


2 
frix (ye) = BP (= ) 
XX 在 [ -1, 1] 上 均匀 分 布 , 给 定 了 的 条 件 下 互 的 条 件 pdf fwy(x1y) 等 于 多 少 ? 
教授 到 达 办 公 室 的 时 间 是 一 个 随机 变量 , 在 早上 8 点 到 9 点 之 间 均 匀 分 布 ,定义 事件 
4 = | 教授 在 早上 8:30 之 前 没有 到 达 | 
B= | 教授 将 在 早上 8: 31 之 前 到 达 | 
求 (a) PLBIA]; (b) PLAIB]。 
令 随 机 变量 瑟 的 pdf 为 





0， 及 过 负 
{ (c>0) 


ce-2*, 0, 
(a) 求 c; (b) 邻 a>0,x>0, 求 PIX>x+al]; (c) 令 a>0, wx>0, 求 PLX=x+alX>aj]。 

为 了 庆祝 通过 概率 论 课程 的 考试 , 奈 特 ( Wynette) 邀请 她 的 教授 钱 斯 (Chance) 博 士 到 著名 的 法 式 餐 
厅 共 进 晚餐 。 如 果 你 提前 y 天 预订 得 到 座位 的 概率 是 1 -e“, y=0。 为 了 至 少 有 0. 95 的 概率 得 到 座 
位 , 奈 特需 要 提前 多 少 天 预订 ? 

美国 的 防卫 雷达 在 天 空 搜索 不 明 飞 行 物 (UFO)。 令 用 表示 UFO 出 现 的 事件 ，M 为 没有 UFO。 令 


fan(xIM) = -em -0.5[x -7]?) 是 当 有 UFO 时 雷达 回 波 闷 的 条 件 pdf。 令 产 wCzH) 二 


exp( -0.5[zZz] ) 是 当 无 UFO 时 雷达 回 波 忆 的 条 件 pdf。 为 了 更 具体 , 令 7 =1, 报警 电 平 为 x4 =0.5。 
令 4 表 示 报 警 这 一 事件 , 即 |>x41 ,计算 PLAIM], PLA*IM], PL4HM1] ， PL4 MD 。 





104 


2.32 


2.33 


“2.34 


2.35 


2.36 


2.37 


2.38 
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在 前 一 习题 中 , 假定 PLM] =10 一 ,计算 

P[M|4], PIM|A°], P[M°|A], PIM°|A°]. 对 PIM] = 10-5 重复 以 上 概率 的 计算 
注意 : 通过 给 PLM] 赋 不 同 的 数 , 本 题 试图 说 明 在 某 些 问题 中 使 用 概率 的 困难 。 因 为 UFO 的 出 现 
是 如 此 稀少 (除了 在 罗斯 韦 尔 、 墨 西 哥 )， 它 可 以 看 成 “一 次 事件 ”, 要 获得 先 验 概 率 P[M] 的 精确 知 
识 几 乎 是 不 可 能 的 。 因 此 , 在 1941 年 日 本 进攻 珍珠 港 时 ,雷达 清晰 地 指示 了 大 规模 的 来 袭 目标 云 ， 
这 一 信号 被 指挥 官 忽略 , 指挥 官 认为 进攻 的 先 验 概率 是 如 此 之 小 , 以 至 于 认为 最 有 可 能 的 是 雷达 出 
了 故障 。 
(研究 问题 : 接收 机 工作 特性 ) 在 本题 中 , PLAIM' ] 称 为 a, 即 虚 警 概率 , 而 PLMIA] 称 为 6, 即 正确 
检测 概率 , 很 显然 , a =a(x4), B=B(x4), 写 一 个 MATLAB 程序 , 画 出 在 固定 的 7 的 值 的 情况 下 B 
与 a 的 图 形 。 选 +=0, 1, 2, 3。 在 雷达 界 , 得 到 的 这 条 曲线 称 为 不 同 7 值 的 情况 下 的 接收 机 工作 特 
性 (ROC)。 
一 套 精 致 的 房屋 安全 系统 使 用 了 红外 波束 来 完成 一 个 电路 。 如 果 电 路 断 开 , 就 说 明 有 盗贼 跨 过 了 波 
束 , 铃声 就 会 响 。 系 统 工作 方式 如 下 : 光敏 二 极 管 按 每 秒 9 x10° 个 光子 的 泊 松 率 产生 红外 光子 波束 ， 
计数 器 每 一 微 秒 对 检测 器 收集 的 光子 进行 计数 。 如 果 计 数 的 光子 在 每 个 计数 间隔 (10“ 秒 ) 低 于 2 个 
光子 , 就 认为 电路 被 断 开 , 铃声 响 。 假 定 泊 松 PMF, 计算 一 秒 间 隔 内 的 虚 警 概率 。 
交通 灯 有 三 种 状态 : 绿 (G)、 红 (R) 和 黄 (Y), 灯 以 随机 的 方式 改变 , 在 任意 时 间 , 灯 只 能 有 一 种 状 
态 , 考虑 观察 交通 灯 状 态 的 随机 实验 。 
(a) 给 出 这 个 实验 的 样本 空间 , 列 出 它 的 5 个 基本 元 素 。 


(b) 令 随 机 变量 对 * ) 定 义 为 : X(G) = -1, X(R) =0, X(7) =m。 假定 PLG] =PLY] =0.5 xPLR], 画 出 
的 pdf, PLX<3] 等 于 多 少 ? 

一 种 基于 令 牌 的 多 用 户 通信 系统 工作 如 下 : 9 个 用 户 站 连接 成 一 个 环 , 一 个 称 为 令 牌 的 电子 信号 按 顺 

时 针 方 向 通过 环 , 令 牌 在 每 个 站 停留 并 且 允 许 用 户 最 多 有 5 分 钟 时 间 发 出 信息 。 令 牌 在 每 个 站 最 多 

等 待 1 分 钟 以 便 用 户 启动 信息 ,如果 在 一 分 钟 最 后 没有 用 户 出 现 , 令 牌 就 传 到 下 一 个 站 。5 分 钟 窗口 

包括 了 令 牌 在 站 的 等 待 时 间 , 在 令 牌 等 待 周期 结束 后 开始 传送 信息 的 用 户 只 有 4 分 钟 时 间 传 送信 息 。 

(a) 假定 你 是 一 个 站 的 用 户 , 你 可 能 经 历 的 最 小 和 最 大 等 待 时 间 是 多 少 ? 假定 令 牌 从 一 个 站 传 到 另 
一 个 站 是 在 瞬间 完成 。 

(b) 假定 站 被 占用 的 概率 为 p, 如 果 站 被 占用 , 占用 时 间 在 (0, 5) 分 钟 均匀 分 布 。 用 MATLAB 写 一 
个 程序 来 模拟 你 那个 站 的 等 待 时 间 。 假 定 令 牌 刚刚 离开 你 的 站 , 取 不 同 的 p 值 。 

令 和 和 了 是 联合 高 斯 随机 变量 ,pdf 为 


jn(tz,a) = 寺 exp| - 吝 (¥ +y)] 


PI[ 了 + 了 产 <c ] =>0.95 的 最 小 c 值 是 多 少 ? 提示 : 利用 极 坐 标 。 
给 定 随机 变量 了 和 了 的 联合 pdf 为 (如 图 P2.36 所 示 ) 
fxy (rz,y) = 1 
(a) 4 的 值 是 多 少 ? 
(b) 边缘 概率 密度 fx(X) 是 多 少 ? 
(c) 互 和 了 统计 独立 吗 ? 为 什么 ? 
(d) 条 件 概率 密度 . 广 x(VIZ) 是 多 少 ? 
假定 在 超市 中 用 于 扫描 条 形 码 的 激光 器 具有 恒定 的 条 件 故障 率 (A >0) 。 为 了 要 使 在 100 次 使 用 中 产 
生 首 次 故障 的 概率 小 于 等 于 0.05, 最 大 入 应 该 等 于 多 少 ? 
如 果 条 件 故 障 率 a(t) 如 图 P2.38 所 示 , 计算 故障 时 间 互 的 pdf。 
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图 P2.36 习题 2.36 中 fry(x, 2) 的 支撑 图 P2.38 习题 2.38 的 故障 率 a() 


2.39 利用 联合 CDF Fwy(x, 2y) 的 基本 性 质证 明 : 
(a) fry(x, y)drdy = Plx < 和 <zZ+dr,y< 了 三 y+dy]。 


(b) [pe(z, ydzdy = 1。 


(c) .pr(Zz,， Yy) 三 0。 
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第 3 草 ”随机 变量 的 函数 


3.1 引言 


在 工程 中 有 如 下 经 典 的 问题 : 对 于 给 定 的 输入 我 们 必须 计算 输出 结果 。 如 果 系 统 输入 是 
随机 的 , 那么 输出 也 是 随机 的 。 说 的 更 正式 一 些 , 如 果 输 入 在 某 个 时 刻 t 或 点 x 是 一 个 随机 变 
量 (RV), 对 应 时 刻 妇 或 点 x' 的 输出 也 是 一 个 随机 变量 。 此 时 间 题 升级 了 , 如 果 输 入 随机 变量 
的 累积 分 布 函 数 (CDF), 概率 质量 函数 (PMF)，, 或 者 概率 密度 函数 (PDF) 事 先 已 知 , 那么 输 
出 随机 变量 的 相应 函数 也 能 计算 出 来 吗 ? 在 许多 情况 下 是 可 以 的 , 但 在 个 别 情况 下 计算 相当 
困难 , 以 至 于 我 们 只 能 寻求 对 输出 随机 变量 性 质 的 描述 , 这 比 累积 分 布 函数 所 能 提供 的 信息 少 
多 了 。 这 种 描述 称 为 均值 或 数学 期 望 , 这 部 分 内 容 将 在 第 4 章 讨论 。 对 于 有 记忆 系统 , 计算 输 
出 的 累积 分 布 函数 往往 更 加 困难 (甚至 不 可 能 ) 。 有 记忆 系统 是 指 某 时 刻 的 输出 依赖 于 过 去 时 
刻 输入 的 系统 (有 可 能 需要 过 去 无 限 长 时 刻 的 输入 值 ) 。 这 就 是 在 第 7 章 和 第 8 章 将 要 讨论 的 
随机 序列 和 随机 过 程 。 本 章 讨论 相对 简单 的 情况 ,只 涉及 一 个 或 少量 随机 变量 。 我 们 将 采用 
丰富 的 例题 来 讲解 。 


例 3.1-1 (电阻 中 的 功率 损失 ) 由 电路 理论 可 知 , 电流 J R 
通过 电阻 民 ( 参见 图 3.1-1) 产 生 的 功率 WW 由 下 列 公 式 给 出 : 六 
/ 
WEw()= 12R (3.1-1) 下 


根据 式 (3.1-1)， 对 于 每 个 电流 值 了 都 产生 对 应 的 WW(T), 这 1 
种 规则 或 联系 就 叫做 函数 。 这 个 函数 一 般 用 W(:) 或 WW 来 表 AR 
示 , 有 的 时 候 也 用 W( 了 1) 表示 , 尽管 后 者 会 使 得 规则 和 实际 数 

值 之 间 有 些 混 淆 。 很 显然 ， 如 果 了 是 一 个 随机 数 , 根据 规则 WW = 了 民 将 产生 新 的 随机 数 研 ， 而 
且 多 的 累积 分 布 函 数 将 会 与 1T 有 很 大 差别 D0。 实际 上 , 这 涉及 一 个 核心 问题 对 于 一 个 给 定 的 
规则 9('), 以 及 随机 变量 全 和 它 的 概率 密度 函数 fx(X) , 那么 随机 变量 了 = g( 耻 ) 的 概率 密度 
函数 fy(Y) 是 什么 ? 


计算 f(y) ,Fy(y)，, 或 者 了 的 概率 质量 孔 数 (PMF) Py(w;), 有 可 能 很 简单 , 也 有 可 能 很 
复杂 。 我 们 将 用 第 二 个 例子 来 讲解 如 何 计算 , 这 个 例子 来 自 通信 理论 。 

例 3.1-2 ( 检 波 器 ) 由 于 高 斯 白 嗓 声 的 作用 ,二 元 信号 成 为 了 模拟 信号 (参见 图 3.1-2)。 解 码 
器 在 为 时 刻 对 模拟 波形 X(t) 进行 采样 ,解码 规则 如 下 : 





解码 器 输入 解码 器 输出 y 
如 果 zZ(t) : 那么 y 就 被 赋值 为 : 
> 二 1 
< 部 0 


@ 在 此 假设 复合 函数 尼 (z) 忌 满足 一 个 随机 数 的 性 质 (参见 2.2 节 ) 。 
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加 性 高 斯 白 噪 声 在 to 采样 

( 解码 器 

C) 

X(to) (d) 






(b) x(t) 


| 
IN 一 
| 一 


(a) (b) (c) (d) 
图 3.1-2 ”基于 采样 和 限 幅 来 对 一 个 噪声 污染 的 数字 脉冲 进行 解码 
解 ”由 于 了 为 一 个 随机 变量 且 代表 了 解码 器 的 输出 ， 我 们 可 以 写 出 如 下 的 事件 : 
{Y =0} = {X <0.5} (3. 1-2a) 
{Y =1} = {X > 0.5} (3. 1-2b) 
其 中 卫 A wx( 如 )。 如 果 假设 及 : N(1, 1) ,那么 可 得 


TL 
PlY =0 = PIX <05] = 一 | Ca 
T 一 Do 


六 .031 
利用 2.4 节 中 有 关 正 态 化 过 程 可 得 到 式 (3.1-3) 的 结论 ， 当 六 : N(0, 1)，, 对 于 任意 Xx < 0 有 


(wz) = 二 -erf(1 zl) 成立。 图 3.1-8 给 出 了 当 PLY = 0] 时 ， 正 态 分 布 曲 线 N(1 ,1) 下 面 
的 面积 。 


(3. 1-3) 





0.5 1.0 ES 


图 3.1-3 例 3.1-2 中 PIY=0] 对 应 的 面积 
同 理 我 们 可 以 计算 出 PIY = 1] = 0.69。 因此 了 的 概率 质量 函数 为 
人 03 纪 和 夺 必 
Py(y) = 4 0.69,y= 1 (3. 1-4) 
0， 其 他 
利用 Dirac 6 函数 ， 可 以 写 出 了 的 概率 密度 函数 表达 式 
fy(y) = 0.316(y)+0.696(y— 1) (3.1-5) 
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Kronecker6 函数 的 定义 为 V=0 时 6(V) = 1, 其 余 为 0。 因 此 了 的 概率 质量 函数 为 

Py(y) = 0.316(y) + 0.696(y— 1) 
Kronecker6 函数 常用 于 概率 质量 函数 (PMF') ， 而 Dirac 6 函数 一 般 用 于 概率 密度 函数 (PDF) 。 
我 们 用 相同 的 符号 来 标记 二 者 , 但 需要 注意 这 两 个 函数 是 有 区 别 的 。 


当然 了 , 并 不 是 所 有 随机 变量 函数 (FRV) 的 问题 都 是 这 么 简单 的 。 为 了 深入 了 解 随机 变 
量 函 数 问题 , 我 们 需要 深刻 认识 随机 变量 函数 的 本 质 。 对 其 本 质 的 理解 有 助 于 我 们 讨论 随机 
序列 和 随机 过 程 ,这 部 分 内 容 将 在 第 7 章 进行 学 习 。 


随机 变量 函数 ( FRV ) : 一 些 观点 


对 于 一 个 随机 变量 函数 , 存在 许多 看 似 不 同 但 有 相同 本 质 的 观点 。 在 此 我 们 列举 两 个 观 
点 。 它 们 之 间 最 主要 的 区 别 就 在 于 着 眼 点 不 同 。 

假设 一 个 基本 概率 空间 = (2, 多 P) 和 定义 在 这 个 空间 上 的 随机 变量 全。 对 是 一 个 规 
则 , 可 以 把 所 有 的 e 0 映射 为 一 个 数 了 (2)。 在 实数 直线 上 ,把 事件 9 的 o 域 转换 为 实数 
直线 上 数 的 集合 , 即 博 雷 尔 的 o 域 . 罗 。 如 果 Ry 代表 实数 直线 上 的 一 个 子 空间 ， cl “在 2 
上 任意 取 值 的 时 候 Rx 可 由 互 实 现 , 那么 可 以 认为 全 是 定义 域 2 和 值 域 Rx 上 的 一 个 普通 函 
数 。 进 一 步 地 , 可 考虑 实 变 量 x 的 可 测 实 函 数 g(x) 。 


第 一 个 观点 (了 : 2 一 RR;) ”对 于 每 个 4 e 02, 可 产生 一 个 对 应 的 值 g(X(Z)) 全 Y(2)。 对 
于 一 组 随机 输出 1 es Q21 ,规则 了 可 产生 对 应 的 一 组 数值 1Y(Z) 1 。 该 规则 是 一 个 随机 变量 ， 
其 定义 域 为 2, 值 域 为 R; C R 。 对 于 实数 By 的 所 有 博 雷 尔 集 , 集合 1¢: 了 (5) es By| 是 一 个 
事件 。 实 际 上 , 事件 1¢: Y(Y) < yl 和 12: g(X(Z)) < yl| 是 等 价 的 。 

从 这 个 观点 出 发 , 我 们 着 重 强调 了 是 2 到; 的 一 个 映射 ,而 不 用 特意 考虑 了 的 中 间作 用 。 


第 二 个 观点 ( 系统 输入 /输出 的 观点 ) ”对 于 Rx 中 的 每 一 个 取 值 了 (2) , 我 们 可 以 生成 一 个 
新 的 数值 了 = g(X) , 其 取 值 范围 为 Ry。 规则 了 就 是 随机 变量 子 的 一 个 函数 , 其 中 了 的 定义 域 
为 Rx, 值 域 为 Ry。 从 这 个 观点 出 发 , 就 可 以 把 了 看 成 从 一 个 实数 集合 到 另外 一 个 实数 集合 的 


映射 。 对 该 观点 进行 建 模 就 可 以 把 子 当 成 一 个 系统 的 输 
人, 该 系统 的 传递 方程 为 g(* )?。 对 于 这 样 一 个 系统 ， X ¥ 
输入 x 得 到 输出 y = g(x), 输入 函数 子 得 到 输出 函数 


Y = 9(X) [参见 图 3.1-4]。 图 3.1-4 用 输入 /输出 的 观点 来 分 
我 们 在 此 强调 输入 /输出 的 观点 , 这 是 因为 在 应 对 随 析 一 个 随机 变量 的 函数 
机 过 程 的 时 候 非常 有 用 , 在 这 种 情况 下 输入 由 随机 变量 的 波形 或 序列 构成 。 求 解 随机 变量 函 
数 的 核心 问题 就 是 : 根据 给 定 的 g(x) 和 RFx(zZ) 求 出 点 集 C,, 这 样 的 话 , 下 面 的 事件 就 是 等 
价 的 : 
{eC:Y(O) < vy}= {6:9X(0)] < vy} 
={¢:X(0) € Cy} 
一 般 情况 下 , 我 们 会 采用 较为 简洁 的 写法 , 式 (3. 1-6a) 在 后 面 会 被 写成 {1Y<y| = |XeC,|。 


(3. 1-6a) 





@ 9 可 以 是 任意 的 可 测 方程 。 也 就 是 说 , 如 果 了 的 取 值 范围 为 Ry, 那么 Ry 中 每 个 子 集 的 逆 像 (参见 2.2 节 ) 都 是 一 个 事 
件 , 而 该 逆 像 由 iY<y| 中 可 数 的 并 集 和 交集 产生 。 
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由 于 C, 是 确定 的 , 因此 有 
PlY <y =P[X € Cy] (3. 1-6b) 
因为 相关 事件 是 等 价 的 。 如 果 Cv 是 空 集 , 那么 概率 | 了 三 y| 为 0。 

在 处 理 输入 输出 模型 时 为 了 方便 , 我 们 常常 把 那些 基本 实验 的 标记 省 略 , 而 直接 处 理 随机 
变量 了 和 了 。 对 于 这 种 方法 , 基本 实验 就 成 了 对 于 孚 的 观测 , 事件 就 是 实数 直线 R 上 的 博 雷 
尔 子 集 , 分 布 函 数 Fx(*) 取代 了 集合 函数 PL ]。 此 时 了 就 是 一 个 映射 (随机 变量 ), 它 的 定义 
域 就 是 子 的 值 域 Ry, 值 域 Ry 是 R' 的 一 个 子 集 。 及 的 函数 特性 往往 被 忽略 了 ， 因 为 我 们 更 倾 
向 于 把 看 成 一 个 机 制 , 这 个 机 制 可 以 产生 用 数值 表征 的 随机 现象 。 根 据 这 个 观点 , X 的 取 
值 范 围 就 无 足 轻 重 了 。 

关于 随机 变量 函数 的 进一步 讨论 , 可 以 阅读 有 关 的 参考 文献 了 。 


3.2 Y= g(X) 型 问题 的 求解 


我 们 将 讲解 如 何 求 解 Y = g() 型 的 问题 。 最 终 将 得 到 一 个 快速 求解 此 类 问题 的 公式 。 
但 是 , 过 早 地 运用 该 公式 又 会 掩盖 问题 的 本 质 , 而 使 得 求解 相当 困难 。 
例 3.2-1 设 及 是 区 间 (0, 1) 上 服从 均匀 分 布 的 随机 变量 , 即 X:U(0, 1), 令 Y=2X+3。 
此 时 我 们 需要 求 出 式 (3. 1-6b) 中 的 点 集 C,, 然后 再 计算 Fy(Yy)。 吻 知 
{Y<y}={2X+3<y = {X< 3(y— 3)} 


因此 C， 就 是 区 间 ( - om ,于 (8 -3)), 进一步 有 


了 的 概率 密度 函数 为 





具体 的 求解 过 程 如 图 3.2-1 所 示 。 


fx(x) fyly) 
1 





© 
二 
x 

局 

二 

ID 

Co 

人 

a 
去 


(a) (b) 
图 3.2-1 (a) 了 的 原始 概率 密度 函数 ; (b) 了 = 2X + 3 的 概率 密度 函数 
一 般 结论 令 ”了 = aX +5, 其 中 是 连续 随机 变量 , 其 概率 密度 函数 为 /x(z) 。 当 a > 0 
时 ,输出 12 C 0 产生 的 两 个 事件 |aXx + 0 < yl 与 | < 全 | 是 等 价 的 。 那么 有 


< ={ox+b<y =- {x< 


中 参见 Davenport[3 -1, p.174] 或 Papoulis、 Pillai[l3 -5]。 
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根据 累积 分 布 函数 的 定义 

Fy(y) = Fx (三 *) (3.2-1) 
以 及 

fr(W = fx (0) (3.2.2) 
当 aw < 0 时 ,下面 的 事件 也 是 等 价 的 2? 


<=- {x+tb<y) =- {x> 7) 


由 于 事件 1X < 区 二 | 和 | 怀 > 世 二 | 是 不 相交 的 , 那么 它们 的 并 集 就 是 一 个 确定 的 事件 , 根 
据 公理 3 可 得 














Plx<|+r|x> | = 
对 于 连续 随机 变量 
P|x< 二 | -Plx< 二 | 
以 及 
P|x> 二 ? -P|x> 经 ?| 
a a 
当 a < 0 时 
Fy(y) =1— Fx (二 ) (3.2-3) 
以 及 
可， 
yy) = ( 刁 } a#0 (3.2-4) 


当 X 不 连续 时 ,我 们 需要 修改 a < 0 的 推导 , P[X < 人 =] = P[X < 亿 了 ] 的 等 价 性 在 此 时 
可 能 不 成 立 了 ， 因 为 事件 [X = = 上 } 的 概率 可 能 为 一 个 正 值 。 修 改过 后 的 表达 式 成 为 


< 时 梓 -< 生生 - 下- 天 (和 - 玫 (和 ， 和 用 了 和 


质量 函数 Py 来 计算 该 事件 的 概率 。a < 0 时 的 最 终 解 答 也 需要 做 出 相应 的 修改 。 
例 3.2-2 (平方 律 检 波 器 ) 设 闷 为 一 个 连续 型 随机 变量 ， 其 累积 分 布 函数 为 Fx(X)，, 令 
了 人 飞 。 此 时 有 
{Y<={X <y={-vW<X< v={-v<X< vuU{X= -vy} (3.2-5) 
不 相交 事件 并 集 的 概率 就 是 所 有 概率 之 和 。 根 据 累积 分 布 函数 的 定义 ， 可 得 








@ ”在 这 里 我 们 是 指 事件 1¢: Z(5) <y| = 全: x >=} 
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By(y) = Fx(y) — Fx(_yD) + PLX = —y (3.2.6) 
如 果 玉 是 连续 的 , P[X = VY] = 0。 当 2 > 0 时 
fw = la) = 21x (VD + Ef (VD (3.2.7) 


当 < 0 时 ,fy(Y) = 0。 这 个 结论 是 如 何 知道 的 呢 ? 利用 式 (3. 1-6a) 中 的 结论 ， 当 Cv 是 空 集 
时 PLY e C,] =0, 因此 有 fy(y) =0 成 立 。 当 2 <0 时 , 在 实数 直线 上 没有 随机 变量 下 满足 
下 面 的 条 件 

{~-vy <X< vy} 


因此 有 WY <0 时 ,fy(Yy) = 0。 如果 及 : N(0, 1) ,根据 式 (3.2-7) 得 到 


| 
fy(y) = = 32Yu(y) (3.2-8) 


其 中 (y) 是 标准 单位 阶 跃 函数 。 式 (3.2.7) 是 自由 度 为 1 的 Chi 平方 分 布 概率 密度 函数 。 
例 3.2-3 ( 半 波 检 波 器 ) 半 波 检 波 器 的 传递 方程 为 gCX) = xu(z) ,如 图 3.2-2 所 示 。 
可 得 
Fy(y) = P[Xu(X) <Y = | fe (3.2.9) 


{zx: zu(z)<y} 
(i) 令 y >0, 那么 有 {x: xu(x) 三 四 = x:x>0;xT<y Ul|rz:xXs<s0| = |x:r<y}。 
可 得 Fy(y) = | fr(z)dr = Fr(y)。 
(站 ) 其 次 , 令 y = 0, 那么 PILY =0] = PIX<0] = Fx(0)。 
(这 ) 最后, 令 V <0, 有 |x: ZU(Z) <Yy| = 中 ( 空 集 )。 
此 时 有 


Fy(y) = | fx(r)dr =0 


如 果 尺 : N(0, 1)，, 那么 Fj(Yy) 如 图 3.2-3 所 示 。 


Fy(y) 
1 
g(x) 
2 1 
le 
O X 0 X 
图 3.2-2 半 波 检 波 器 图 3.2-3 六: N(0, 1), 通过 半 波 检 波 器 后 工 的 累积 分 布 函数 
概率 密度 函数 由 微分 得 到 。 由 于 在 = 0 时 不 连续 ,此 时 应 引入 Dirac 5 函数 ， 即 
0, y=<0 
fy(y)= y Fx(0)6(y), y=0 (3.2-10) 
fx(y), y>0 


简洁 的 表达 式 为 fy(Yy) = fx(y)u(y) + Fx(0)6(y)。 我们 注意 到 , PILY <0] = PI[LY<0] 在 
这 个 问题 中 就 不 成 立 了 。 此 时 PIY = 0] 就 是 一 个 非 0 的 概率 值 。 

例 3.2-4 设 及 为 服从 伯 努 利 分 布 的 随机 交 量 , 其 中 P[X =0] =p, PI[X=1] = gq。 那 
么 有 
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fx(7) = p06(7)+gq6(z—1) 和 Fx(x)= pu(7z) + qu(z—1) 
其 中 以 (YX) 是 连续 变量 2 的 单位 阶 跃 函 数 。 
令 了 4A 于 -1, 可 以 得 到 (参见 图 3.2-4) 
Fy(y)= PIX—1<Yy 





= PIX y+1] 
= Fx(y+t1) 
= pu(y++1)+ gqu(y) 
概率 密度 函数 为 
fy(y) = 桓 [Fy(y)] = po(y +1)+ qd(y) (3.2-11) 
Fyly) 
EE 
| 
| 
pe 
一 2 一 1 0 1 2 y 
(a) (b) 


图 3.2-4 (a) 了 的 累积 分 布 函数 ; (b) 了 = 了 -1 的 累积 分 布 函 数 


例 3.2-5 (累积 分 布 函 数 的 转换 ) 设 卫 具 有 连续 的 累积 分 布 函数 F(X), 且 Fy(X) 是 x 
的 严格 单调 增 函 数 D。 设 了 是 一 个 随机 变量 , 通过 及 的 累积 分 布 函数 来 生成 
Y = Fx(X) (3.2-12) 
为 了 计算 Fy(y)，, 我们 按照 通常 的 步骤 可 得 
{Y <y}= {Fx(X) < vy} 
={X< Fx (y)} 


此 
Fy(y) = PIFx(X) <Yy 


= P[X < Fx (y)] 
=| fx(z)dz 
{zx: Fx(z)<vy} 
1. 令 Y < 0。 因 为 对 所 有 的 Ye [-o, oj] 都 有 0 三 RHxr(Z) 1, 集合 |x: Fx(x) <y| = 中 ， 
所 以 有 Fy(y) = 0。 
2. 令 V >1。 此 时 |x: Fx(X) <Yy| =[-%, %], 所 以 Fy(y) = 1。 


3. 令 0 <y<1, 此 时 |x: Fx(x) 三 外 = |x:x<Fr(y)|。 
所 以 可 以 得 到 
Fx!(y) 
Fy(y) = | fe dr = (tN) = 
最 终 解 为 





四 换 句 话说 , 当 x; >zi 时 Fx(x;) >Fx(zwi), 不 会 出 现 二 者 相等 的 情况 。 
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人 y<0 
Fy(y)= YYy, 0O0<vy<l1 (3.2:13) 
1l; 雪 宇 1 

通过 式 (3.2-13) 可 知 : 不 管 全 服从 什么 分 布 ,， 只 要 它 的 累积 分 布 函 数 连续 且 严 格 单调 ， 那么 
7 A Fy( 及 ) 服从 均匀 分 布 。 反 过 来 ,给 定 一 个 服从 均匀 分 布 的 了 , 通过 变换 和 人 Fi( 了 ) 可 以 
产生 一 个 随机 变量 瑟 ， 该 随机 变量 的 累积 分 布 函数 连续 且 严 格 单调 (如 图 3.2-5 所 示 )。 有 的 
时 候 可 以 利用 均匀 分 布 的 随机 变量 , 通过 这 种 方法 来 模拟 产生 特定 分 布 的 随机 变量 。 





图 3.2-5 ”通过 均匀 分 布 随机 变量 产生 一 个 累积 分 布 函 数 为 E(x) 的 随机 变量 。(a) 通 过 随机 
变量 XX 产生 随机 变量 了 Y, 耻 的 累积 分 布 函 数 为 Fi (x) ,了 服从 均匀 分 布 ; 
(b) 通 过 随机 变量 7 产生 随机 变量 3, 了 服从 均匀 分 布 ,X 的 累积 分 布 函 数 为 Fy (z) 
例 3.2-6 (均匀 分 布 转换 为 标准 正 态 分 布 ) 从 上 个 例子 可 知 , 我 们 可 以 把 一 个 均匀 分 布 
的 随机 变量 卫 : U[0, 1] 转换 为 任意 分 布 的 连续 随机 变量 ， 转 换 后 的 累积 分 布 函数 严格 递增 。 
如 果 和 希望 得 到 一 个 标准 正 态 分 布 了 : N(0, 1), 其 累积 分 布 函 数 为 
f(y), y=0 
mw-1 二 十 erf(y), y > 


3 —erf(—y),y<0 
求解 传递 函数 g(x) 可 得 


传递 函数 如 图 3.2-6 所 示 。 
X 的 变换 


0.2 0.4 0.6 0.8 1 


图 3.2-6 yy = g(x) = Fa (x) 的 变换 图 , 可 把 U[0, 1] 转换 为 N(0, 1) 
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在 本 书 的 网 站 上 , 有 transformCDF .m 的 MATLAB 程序 可 供 下 载 , 运行 该 程序 可 产生 相 
对 频率 直方 图 。 我 们 运行 了 1000 次 仿真 实验 得 到 接 下 来 的 结果 。 图 3.2-7 给 出 了 1000 个 


[0, 1] 之 间 均 匀 分 布 随机 变量 的 直方 图 。 图 3.2-8 给 出 了 转换 后 随机 变量 的 直方 图 。 
XX 的 直方 图 [0,11 均匀 分 布 
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0 01 02 03 04 05 06 07 08 09 1 0 1 名 各 4 
图 3.2-7 1000 个 独立 同 分 布 随 机 变量 图 3.2-8 1000 个 转换 后 的 独立 同 
的 直方 图 ,服从 U[0,1] 分 布 随 机 变量 的 直方 图 


例 3.2-7 (量化 ) 在 一 个 模 数 转换 系统 中 ,模拟 波形 将 被 采样 ,量化 和 编码 ( 如 图 3. 2-9 
所 示 )。 量 化 器 就 是 一 个 函数 ， 它 把 集合 @ A Yn,，…, Yo，…, Yn| 中 的 数值 赋 给 每 个 样本 
X， 集合 中 2N +1 个 值 都 是 预先 给 定 的 中 1。 于是， 一 个 无 限 不 可 数 的 集合 (模拟 输入 和) 就 被 
缩减 为 一 个 有 限 的 集合 (数字 输出 Wi ) 。 注 意 到 这 个 量化 器 其 实 也 是 一 个 限 幅 器 ， 对 于 所 有 大 
于 Wn 或 者 小 于 Yiw 的 ZX， 输 出 2 都 被 限制 为 Vw 或 V_wo 


x(t) ” 、 量化 器 yeQ 编码 器 10010 


采样 器 


Xi 全 x(b) 
图 3.2-9 模 数 转换 器 
一 个 常用 的 量化 器 就 是 均匀 量化 器 ,该 量化 器 是 一 个 具有 均匀 步 长 a 的 阶梯 函数 ,表达 式 为 
g(7)= ia (i—l)a<z<ia, i 为 整数 (3.2-14) 
此 时 ， 量 化 器 将 连续 样本 上 方 最 接近 2X 值 的 ia 赋 给 XS， 如 图 3.2-10 的 阶梯 函数 所 示 。 








输出 Y(t) 


输入 Xx(?) 


图 3.2-10 量化 器 的 输出 (阶梯 函数 ) 与 输入 (连续 线条 ) 





Q@ ”原文 在 这 里 是 图 3.2-8(b), 疑 有 误 一 一 译 者 注 。 
加 原文 为 3x, 疑 有 误 一 一 译 者 注 。 
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如 果 及 代表 样本 输入 值 , 了 代表 量化 输出 , 且 a =1。 久 是 一 个 随机 交 量 , 那么 输出 的 概率 
质量 函数 为 
Py(i) = PlY = 
=Pli-l1<X<d 
= Fx(i) — Fx(i—1) 
We 如 图 3.2-11 所 示 了 了 D。 


= 从 u(y—1) 
= = 站 (i) — Fx(i— lu(y—i) 





(3.2-15) 


如 果 2 = n(n 为 整数 ), Fy(y) = Fx(Yy), 否则 Fy(y) < Fx(y)。 





图 3.2-11 Fx(y) 与 Fy(y) 


例 3.2-8 (正弦 波 ) 计 算 Y=sinX 的 概率 密度 函数 是 一 个 非常 经 典 的 问题 , 其 中 X:U(-Tr，+m) 
表示 区 间 (一 nT，+ 7T) 上 均匀 分 布 的 随机 变量 。 从 图 3.2-12 可 知 ， 对 于 所 有 的 0 三 和 1, 事 
件 | 了 < Yy| 满足 如 下 等 式 : 

{Y < vy}= {sinX <vy} 
={-—mT<X<arcsiny}U {Tm™—arcsiny <X <"™} 
因为 后 面 两 个 事件 是 不 相交 的 ,我们 可 以 得 到 














Fy(y) = Fx(7)— Fx(™—arcsiny) + Fx(arcsiny) — Fx(—"™) (3.2-16) 
因此 
dFy 
f(y) = 区 
y 
1 , (3.2-17) 
= fx(™—arcsin + fx(arcsin 
et a 
~ 27 Vi-y 27Vi-vy (3.2-18) 
i : 0<vy<1 
nVi- 这 村 (3.2-19) 


如 果 把 上 述 计算 过 程 在 -1 <Y <0 时 再 进行 一 次 , 图 3.2-12 的 结果 就 变 为 图 3.2-13。 此 时 以 
随机 变量 及 来 描述 事件 | 了 < yi = |sinX < y| 得 到 


@ 注 : 原文 为 图 3.2-12, 疑 有 误 一 一 译 者 注 。 
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{ 一 站 一 arcsiny < X < arcsiny} (3.2-20) 
这 里 用 到 了 2 达 0 时 的 sin 函数 的 逆 函 数 。 此 时 我 们 可 以 写 出 累积 分 布 函 数 的 具体 表达 式 
Fy(y) = Fx(arcsiny) — Fx(—™ — arcsiny) 














通过 微分 可 得 
dFy 
fr(y) = 一 (y) 
dy 
= fx(arcsiny) — fx(—™—arcsiny) 
二 = 212 Y= 112 
二 
27 V1i—y 27 Vly 
1 1 





与 0 入 V <1 时 的 结果 表达 式 是 相同 的 。 


Sin X 








arcsin Y 


五 一 arcsin Y 


图 3.2-12 wy = sinxw 的 根 ,0<y<1 


Sin X 







-mT—arcsiny 


arcsiny 


图 3.2-13 wy = sin x 的 根 ,-l1<y<0 
最 后 考虑 121 > 1 的 情况 , 由 于 对 于 所 有 的 都 有 1 sin(x) 1 万 1, 因此 此 时 概率 密度 函数 
户 一 定 为 0。 归 纳 上 面 得 到 的 三 个 结果 ,完整 的 结果 如 下 (参见 图 3.2-14) : 


和 lvy| <1 
fy(y) = | TVI 一 好 (3.2-21) 
0, 其 他 
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图 3.2-14 了 = sinX 的 概率 密度 函数 


接 下 来 , 我 们 将 推导 一 种 求解 Y = g( 站 ) 概率 密度 函数 的 简单 公式 。 利 用 这 种 公式 ,可 以 
从 概率 密度 函数 直接 得 到 变换 后 的 概率 密度 函数 ， 而 无 须 先 求 累 积分 布 函数 。 这 种 方法 称 为 
直接 法 。 但 是 对 于 有 些 问 题 , 用 间接 法 会 减 小 犯错 的 可 能 , 这 将 在 后 面 的 章节 讲解 。 


求解 了 = 9 ( 瑟 ) 概率 密度 函数 的 一 般 公式 


对 于 一 个 连续 随机 变量 ,其 概率 密度 函数 为 fx(x), 实 变量 存在 可 微 函 数 g(x)。 求 
Y A g(X) 的 概率 密度 函数 。 
解 事件 |y < 了 <y+dy| 可 以 被 写成 在 博 雷 尔 域 上 一 系列 不 相交 基本 事件 {EB,} 的 并 
集 。 如 果 方 程 y = g(x) 有 nn 个 实 根 Dx,,…, x , 那么 不 相交 事件 E; = {x; -1 dxi1<X< 
Zi] (g'(x;) 为 负 或 者 B= |x; < 六 zi +1 dwi;11(g'(x;) 为 正 2, 如 图 3.2-15 所 示 。 对 于 任 
意 一 种 情况 , 通过 概率 密度 函数 的 定义 可 知 PLE,;] = fx(X;) 1 dx; 1, 因此 有 
Ply<Y <y+dy= fy(y)ldyl 














和 3.2-22 
= 》、jxtcaldzi 0 
d=1 
等 式 两 边 同时 除 以 1 dy | 可 得 
n dz， 加 n dy —1 
fy(y) = 2 fx | 2 fx i 
在 方程 y = g(x) 根 的 位 置 , 有 dy/dx， = g'(%;), 可 得 下 面 重要 的 公式 : 
fy = fx(r/g (ri)| ri=r(y), 9g (ci) 关 0 (3.2-23) 


i=1 
当 传 递 函 数 g(x) 有 多 个 根 时 , 式 (3.2-23 ) 在 求解 此 类 问题 时 非常 有 用 , 在 此 假设 对 所 有 根 的 
求 导 g'(%;) 关 0。 我们 可 以 看 看 g'(x;) = 0 会 是 什么 情况 , 导数 为 0 意味 着 在 这 个 区 域 函数 g 
是 平坦 的 。 对 于 该 平坦 区 域 的 任何 x 值 , 对 应 的 y 都 是 一 个 常数 , 在 这 个 区 域 y 取 值 的 概率 
质量 就 等 于 事件 卫 发 生 在 该 平坦 区 域 的 概率 。 从 记 的 角度 , 此 时 概率 质量 就 变 为 了 一 个 冲 激 ， 
且 冲 激 的 大 小 等 于 概率 质量 。 





@ 根 是 指 满足 y -g(x;) =0, =1,…,n 的 点 wi 的 集合 。 
加 g 上 方 的 一 撤 是 指 对 xz 求 导 。 
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9(X) 











Xo 十 |dxo| 
x1— |dxil 


图 3.2-15 事件 1y < 了 <y+dy| 是 概率 空间 也 上 两 个 不 相交 事件 的 并 集 


如 果 对 于 一 个 给 定 的 y, 方程 y -g(x) = 0 没有 实 根 , 那么 此 时 fi = 02。 图 3.2-15 给 出 
了 n=2 时 的 情况 。 

例 3.2-9 ( 民 的 三 角 函 数 ) 为 演示 如 何 使 用 式 (3.2-23 ) ,我 们 在 此 用 该 公式 来 求解 例 3. 2-8。 
已 知 了 的 概率 密度 函数 为 fy(X) = LM2m，-T<2 近 T, 求 了 = sinX 的 概率 密度 函数 。 在 这 
里 传递 函数 g 为 g(xX) = sin(X)。 当 WY >0 时 , 方程 y -g(xX) =Y -sinx =0 的 两 个 根 分 别 
为 XI = arcsiny 和 X= Tarcsin yy。 


dg 
HE 一 COS 7 


需要 计算 上 式 在 根 Zi 和 ws 处 的 值 。 对 于 XY = arcsiny, 可 得 dg/dx|1,.,= cos(arcsiny) 。 同 
样 对 于 根 X，= 7 -arcsin y, 可 以 得 到 


dg 


a = cos(T —arcsiny) = cos™ x cos(arcsiny) + sin™ x sin(arcsiny) 
人 





TI 二 7T2 
= — cos(arcsiny) 


利用 图 3.2-16 的 帮助 ， 可 以 求 出 cos(arcsin y) 的 值 。 根据 9 = 














arcsiny 和 cosb = V1 -办 = cos(arcsiny), 可 以 得 到 SN : 
59 一 2 = V1 AAA 
最 后 , fx(arcsiny) = fx(7m -arcsiny) = 1/2m。 利用 式 (3.2-23) 


中 的 结论 可 得 图 3.2-16 计算 cos(arcsin y) 
1 1 
fy(y) = mn VI ya 
结果 与 式 (3.2-19) 一 致 。 当 2 < 0 时 , 重复 上 面 的 计算 过 程 , 最 终结 果 与 式 (3.2-21) 一 致 。 





0O<y<1 


例 3.2-10 ( 非 线 性 元 器 件 ) 一 些 无 记忆 的 非 线性 元 器 件 可 以 用 传递 函数 9(Y) = x" 来 进 


@ ”对 于 实 值 的 随机 变量 子 , 是 不 可 能 出 现 虚数 的 。 
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行 建 模 。 令 了 = X”。 了 的 概率 密度 函数 取决 于 nl 是 偶数 还 是 奇数 。 我 们 在 此 求解 N 为 奇数 的 
情况 ,nn 为 偶数 的 情况 留 做 习题 。 当 nn 为 偶数 且 Y > 0 时 , 方程 y -x2”= 0 只 有 唯一 的 实 根 
2r = YW, 可 得 








dg n— n—1)/n 
i 一 有 1 一 mg 一 D/ y>0 
当 2 < 0 时 , 唯一 的 实 根 为 ZX， =-12 1 和 如 
图 3.2-17 所 示 。 类 似 的 有 
dg _ (mn-1)/n 
re = nly| 
综 上 所 述 
1 
.fr 区 天 和 es 
fy(y) = 图 3.2-17 g(x) = x” -yy =0 的 根 , ?为 奇数 


ee 
-Ml” mm (一 lg) vy<o0 


如 果 在 这 道 题目 中 9(Z) 为 一 个 常数 ， 即 g9(Z) = Cc, 在 某 些 宽度 非 0 的 区 间 就 不 能 套用 
式 (3.2.23) 来 计算 fy(y)，, 因为 在 此 区 间 上 g'(x) = 0。 此 时 就 需要 额外 考虑 这 个 平坦 区 域 引 
起 概率 质量 的 值 。 


例 3.2-11 (具有 截止 值 的 线性 放大 器 ) 考虑 图 3.2-18 所 示 的 非 线 性 元 器 件 , 其 传递 函数 
g(X) 如 下 : 
g(7)=0, |z|>=1 (3.2-24) 
gs) = —l<w<l1 (3.2-25) 
可 以 看 出 , 当 1 x1 宇 1 时 g(x) =0,-1<x<1l 时 g'(X) =1。 当 yy 三 1 和 YY-1 时 , 方 
程 y -9(Z) =0 没 有 实 根 , 因此 在 这 个 区 间 上 fy(Yy) = 0。 当 -1<2% <1 时 ,方程 y -g(X%) = 
2 -2% = 0 唯一 的 实 根 就 是 X = Yy, 在 这 个 区 间 上 运用 式 (3.2-23), 且 有 19'(X)1=1, 所 以 
fy(Yy) = fx(Y)。 需 要 注意 PL[Y = 0] = PI[X 宇 1] + PLX<-1]。 如 果 尽 : N(0, 1), 那么 
PI[X=1] =1/2-er(l) = PI[X<-1], PLY =0] =1-2erf(1) = 0.317。 我 们 习惯 把 PLY = 
0] = 0.317 的 结果 代入 了 的 概率 密度 函数 表达 式 , 这 样 就 需要 引入 6 函数 
PlY = 0 =0.317 = lim | 0.3176(y)dy 
代入 0.3176(Yy) 的 表达 式 到 fy(Y) 中 , 得 到 最 终 的 结果 如 下 : 
0， lvyl=1 
fY(y) = | (27)-1/2exp (一 上 2) +0.3176(y), -1<y<1 


例 3.2-12 (无 限 多 个 根 ) 在 此 我 们 考虑 将 图 3.2-18 的 传递 函数 进行 周期 拓展 ,拓展 后 的 
传递 函数 9(Z) 如 图 3.2-19 所 示 。 
在 这 种 情况 下 传递 函数 的 表达 式 为 


Ooe 


g(z) = 》、(z 一 2n) rect (: a) 


N=—00 





在 这 里 rect 是 一 个 对 称 的 单位 脉冲 函数 ,定义 如 下 : 
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Ne I 一 0.5 <Z < 十 0.5 
0， 其 他 
同上 一 个 例题 类 似 , 1 y1 宇 1 时 fy(y) = 0 这 
是 因为 在 这 个 区 间 方 程 Yy - g(x) = 0 没有 实 
根 。 另 一 方面 , 当 -1 <y <1 时 , 方程 y - 
9(X) =0 有 无 限 多 个 根 , 具体 为 2, = Y +2n， 
n=…， -2, -1,0, 1, 2,…。 对 于 每 个 根 都 
有 19'(z,)1 =1。 因 此 , 根据 式 (3.2-23) 可 得 


广 (8) = 对 。 fx(Y + 2m)rect( 艺 )。 如 果 
X: N(0, 1) 





图 3.2-18 具有 截止 值 的 线性 放大 器 


fy(y) = (2m)-172 SY bs (-ig 于 am x rect (二 ) 


如 果 这 个 结果 是 正确 的 ,似乎 很 难 理解 为 什么 由 无 限 多 个 正 值 之 和 组 成 的 方程 , 其 面积 为 1 。 
为 了 验证 fy(Yy) 积分 值 确 实 为 1, 我 们 进行 如 下 的 推导 


1 过 1 
| fy (y)dy = 大 >， | exp (3 十 2n)?) dy (3.2-26) 
] 
一 | exp (~ ， dy (3.2-27) 
= >， [erf(1 + 2n) — erf(—1 + 2n)] (3.2-28) 


把 上 面 最 后 一 项 展开 , 读者 很 快 就 会 发 现 除了 第 一 项 (nt = - % ) 和 最 后 一 项 (Nn = om ) 外 , 其 
余 项 都 可 以 互相 抵消 。 因 此 可 得 


下 fy(y)dy = erf(00) 一 erf( 一 co) = 2 x erf(00)= 1 





图 3.2-19 周期 的 传递 函数 


3.3 Z=g( 陡 , 了) 型 问题 的 求解 


在 许多 科学 和 工程 问题 中 , 随机 变量 Z 往往 是 两 个 (或 多 个 ) 随 机 变量 ,了 的 函数 。 
例如 : 
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1. 放大 器 的 输入 信号 2 是 由 信号 和 和 独立 随机 噪声 了 至 加 而 成 。 因 此 2 = 了 闻 +Y, 如 果 承 
也 是 一 个 随机 变量 , 那么 2 的 概率 密度 函数 是 什么 (参见 图 3.3-1)? 
噪声 Y 


言 写 X 
信号 .0 基文 增益 G ce 
Z=X+Y 


图 3.3-1 信号 与 独立 加 性 噪声 相 加 的 问题 


2. 只 要 至 少 有 一 个 引擎 在 工作 , 双 引 擎 飞机 就 能 飞行 。 用 和 和 了 来 分 别 表示 飞机 右 引擎 
和 左 引擎 停止 工作 的 时 间 , 那么 飞机 失事 的 时 间 为 Z A max(X, 了 ) 。 试 求 2 的 概率 密 
度 函 数 ? 
3. 许多 信和 号 处 理 系统 会 将 两 个 信号 相 乘 (调制 器 , 解 调 器 , 相关 器 , 等 等 ) 。 如 果 忆 是 一 
个 输入 信和 号, 了 是 另外 一 个 输入 信和 号， 试 求 输出 信号 Z 4 XY 的 概率 密度 函数 。 
4. 许多 物理 问题 中 经 常 遇 到 著名 的 “随机 游 走 ”问题 ， y 
一 个 粒子 在 x 和 yy 方向 的 位 移 是 独立 的 随机 变量 闻 7 
和 了 。 试 求 总 的 位 移 2 A [了 + 耿 ] ”的 概率 密度 也 
数 (参见 图 3.3-2) 。 
2 = g( 了 ,了 ) 类 型 的 问题 与 3.2 节 中 讨论 的 问题 并 没有 
本 质 的 区 别 。 对 于 了 了 = g(), 最 基本 的 问题 就 是 要 找 出 点 
集 C,, 使 得 事件 1¢: Y(Z) < yl 与 1: 和) e C0,| 等 价 。 
在 这 里 其 实 也 是 要 解答 同样 的 问题 : 在 (x, y) 平 面 上 找 出 点 ”图 3.3-2 随机 游 走 问题 中 的 位 移 
集 C,, 使 得 事件 17: Z(2) < z| 和 ||: X(L), 了 (LY) e C.| 是 等 价 的 , 我 们 常常 简 记 为 
{2 < z} = {(X,Y) € C,} (3.3-1) 





x 


以 及 
Fz(z) = | fxy(7,y)dr dy (3.3-2) 
(ZT,Yy)EC: 


点 集 0, 由 函数 g(x, y) < z 决定 。 很 显然 , 处 理 Z = g( 了 ,了 ) 类 型 的 问题 将 会 用 联合 密度 ， 
联合 分 布 和 双重 积分 (或 求 和 ) 来 取代 单一 的 变量 。 此 时 , 计算 fz(z) 应 该 比 计算 了 =g(X) 中 
的 fy(y) 复杂 。 我 们 后 面 将 会 学 到 两 个 非常 省 时 省 力 的 方法 。(1) 我 们 有 一 个 “转动 把 柄 ”的 
公式 来 解决 许多 了 = g( 了 ,了 ) 类 型 的 问题 , 这 实际 上 是 式 (3.2-23 ) 的 一 个 扩展 , 此 时 需要 用 
到 一 个 辅助 变量 (参见 3.4 节 ); (2) 利 用 特征 函数 可 以 解决 Z = 瑟 + 了 类 型 的 问题 。 但 是 , 应 
用 这 些 简 易 方 法 容易 混淆 对 本 质 概念 的 理解 。 
现在 , 我 们 将 用 前 面 给 出 的 那些 原理 来 求解 下 面 的 问题 。 
例 3.3-1 (随机 变量 的 乘积 ) 根 据 式 (3.3-2),， 计算 Z = XY 的 累积 分 布 济 数 需要 求 点 集 
Cs, 即 求 出 满足 g(x, Y) A XY 近 z 的 区 域 。 当 2 > 0 时, 该 区 域 如 图 3.3-3 所 示 。 
根据 图 形 , 可 计算 如 下 : 
co z/y 0 > 
Fz(z) = | ( person] dy 十 | (I Pro dy, z 宇 0 (3.3-3) 
一 ce 一 co z/Yy 


0 
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为 了 计算 概率 密度 fz, 需要 对 等 式 关于 z 求 导 。 我 
们 可 以 直接 对 式 (3.3-3) 进 行 求 导 运 算 , 不 过 ,为 
了 对 该 过 程 认 识 得 更 清晰 一 些 , 我 们 首先 定义 不 
定 积分 Gxr(ZY，2V) 


Gxy(e,y) S | fxr(e, Wae (3.34) 







那么 有 
Fz() = | [Gxy(z/yY) — Gxy(-o0,W)ay 


-一 


0 
十 | [Gxy (0,y) — Gxy(z/y,y)]dy 


对 等 式 两 边关 于 2 求 导 可 得 
pa 2 1) 图 3.3-3 z >0 时 , xy < zz 的 区 域 
2Z 


B68 (3.3-5) 
二 下 fy (ey, y)dy 


利用 附录 人 A 中 的 式 (A2-1)， 对 式 (3.3-3) 的 z 直 接 求 导 也 可 以 得 到 相同 的 结果 。 

现在 的 问题 就 是 求 当 z < 0 时 的 结果 。 当 2z < 0 时 式 (3.3-3) 是 成 立 的 中 , 因此 对 于 所 有 的 
2 也 是 成 立 的 uz <0 的 情况 如 图 3.3-4 所 示 。 通 过 该 图 可 知 , 当 & <0 时 在 阴影 区 域 |xy 三 2| 
的 积分 结果 Fs(z) 与 式 (3.3-3) 完 全 相同 。 对 该 式 关于 z 求 导 ,， 再 把 9 移 到 积分 表达 式 里 面 ， 
我 们 再 次 得 到 式 (3.3-5)@。 Eve 


jz(= | f(s/y Wdy, —00<z<+o0 (3.3-6) 





图 3.3-4 zz <0 时 , xy < zz 的 区 域 
对 于 卫 和 了 是 独立 的 这 种 特例 ， 即 独立 同 分 布 (i.i. d. ) 的 随机 变量 
R= Kr 2 


Qa2++Zz2 








Q@” 注 原文 在 这 里 是 式 (3.3-7), 疑 有 误 一 一 译 者 注 。 
@ ”原文 在 这 里 是 式 (3.3-7), 疑 有 误 一 一 译 者 注 。 
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这 就 是 所 谓 的 柯 西 中 概率 准则 。 根 据 独立 性 可 得 
fxr(7,y) = fx(z)fy(y) 
同时 根据 式 (3.3-7) 被 积 函数 的 对 称 性 , 通过 变量 替换 可 得 名 


fz(z) = (2 | 1 | 1 


: r 
0 3 季 十 a27r a2 十 工 


[人 9 1 1 z2 
= n 
T/ 22 一 ad4 a4 





(3.3-7) 





图 3.3-5 给 出 了 a = 工时 的 . 户 (z) 。 


fz( 2) 


一 a2 0 a2 z 


图 3.3-5 2 = XY 的 概率 密度 函数 fz(z) ,也 和 了 为 独立 同 分 布 随 机 变量 且 满 足 柯 西 定律 


例 3.3-2 ( 取 最 大 值 操作 ) 如 果 卫 和 了 是 独立 的 随机 变量 , 我 们 希望 求 Z = max(X, 了 ) 
的 概率 密度 函数 ， 即 
Fz(z) = Plmax(X,Y) < 2 
由 于 事件 |max( 了 ,了 ) < z| 与 事件 | 及 <z, 了 < zz| 是 等 价 的 , 因此 


PIZ z= PIX<z,Y < z= Fx(z)Fy(z) (3.3-8) 
对 两 边 求 导 可 得 
jz(z) = fy(z)Fx(z) + fx(z)FYy(2z) (3.3-9) 
讨论 一 个 特例 , 令 fx(X) = fy(X) 为 区 间 [0, 1] 上 的 均匀 分 布 , 可 得 
fz(z) = 2z[lu(z) — u(z — 1)] (3.3-10) 


如 图 3.3-6 所 示 。 对 于 2 = min( 久 ,了 ) 的 概率 密度 函数 ， 留 做 本 章 的 习题 。 


例 3.3-3 ( 取 指 数 函 数 的 最 大 值 ) 令 天 和 了 为 独立 同 分 布 的 随机 变量 , 概率 密度 函数 
fx(X) =e “u(xX)。 设 2 = max( 了 ,了 ), 试 求 f(z) 以 及 概率 值 PLZ < 1]。 
解 根据 PI[Z<2z] =P[X<z,Y<2z] = PIX<2z]PLY< 2%] 可 得 
Fz(z) = Fx(z)Fy(z) = (1 —e *)?u(z) 
以 及 
fz(z) = ale 一 2e “(1—e *)u(z) 


概率 密度 函数 如 图 3.3-7 所 示 。 最 后 可 得 , Fs(1) = (1 -e )w(1) ~0.4。 





@ Auguste Louis Cauchy(1789 - 1857) , 法 国 数学 家 , 在 天 文学 , 光学 , 流体 力学 ,函数 论 等 方面 著作 颇 丰 。 
加 参见 B. 0. Pierce and R. M. Foster, A Short Table of Integrals, 4th ed. (Boston, MA: Ginn & Company, 1956), p. 8. 
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fz(z) 
2 





| 
| 
| 
1 
| 
| 
1 
| 
| 
1 
1 
| 
| 
1 


Z 





0 0.693 z 


图 3.3-7 取 两 个 随机 变量 最 大 值 的 概率 密度 函数 ,随机 变量 服从 指数 分 布 
两 个 独立 随机 变量 之 和 ”在 工程 和 科学 问题 中 经 常会 遇 到 2 = X+ 了 的 情况 (以 及 它 的 拓 
展 Z = 习 ” 成 ) ,所 以 此 时 的 fz(z) 可 能 是 2 = g(X, 了 ) 类 型 中 最 重要 的 概率 密度 函数 。 
类 似 于 与 其 他 类 型 的 求解 , 我 们 需要 找 出 满足 12 < z| 的 点 集 C., 根据 定义 , 此 时 事件 


{+ 了 < 2%| 与 事件 1 De 0, 是 等 价 的 。 点 集 0; 是 满足 g(x, y) 人 Z+2 拓 zz 中 所 有 
点 的 集合 , 即 图 3. 3-8 A 该 阴影 区 域 中 的 所 有 点 都 满足 x + y < z。 


2 2 
> 


> 


图 3.3-8 ”用 于 计算 Z 4 X + 工 概率 密度 函数 的 C, 区 域 (阴影 部 分 ) 
根据 式 (3.3-2) 可 得 
Fz(z) = | fxy(7r,y)dr dy 
T+Y<z 


1 ( | fxy(e yee ) dy (3.3-11) 





= | [Gxy(z—Yy,y)— Gxy(—o0,y)]dy 
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其 中 Gxy(x, y) 是 不 定 积分 , 定义 如 下 : 

Gxy(z,g) 全 | fxy (zy)dz (8.3-12) 
通过 对 Fz(z) 求 导 , 可 得 概率 密度 函数 表达 式 如 下 : 


i 





fz(z) 
a (3.3-13) 
= | fxy(z—Yy,y)dy 


式 (3.3-13) 是 一 个 非常 重要 的 结论 [与 Z = XY 的 式 (3.3-6) 相 比较 ]。 在 许多 时 候 , 和 和 了 是 
独立 的 随机 变量 , 所 以 有 .Pr(z, y) = fx(X)fy(y)。 此 时 式 (3.3-13) 成 为 


站 机] 二 ) Cr 有 (3.3-14) 


这 就 是 卷 积 积 分 , 即 卷 积 fj DD。 利用 变量 替换 x = z -y, 可 很 容易 的 证 明 式 (3.3-14) 可 以 写 


fz(z) = | Jx(z)Pr(z 一 Z)dzr (3.3-15) 


例 3.3-4 (随机 变量 之 和 ) 令 耻 和 了 为 独立 的 随机 变量 , 且 fy(X) = euU(7X), fy(y) = 
十 [u(y +1) -wu(y -1)], 令 ZAX+Y。 试 来 2 的 概率 密度 可 数 。 

解 ” 利 用 图 形 来 跟踪 函数 轨迹 是 求解 卷 积 类 型 问题 的 一 个 很 有 用 的 方法 ,fx(X) 和 fy(Y) 
如 图 3.3-9(a) 所 示 , fx(2 -Yy) 如 图 3.3-9(b) 所 示 。 注 意 到 fx(z -2) 其 实 就 是 fx(X) 翻转 和 
平移 变换 后 的 结果 。 我 们 是 如 何 知道 翻转 /平移 变换 后 的 图 像 最 边缘 的 那个 点 就 是 UV =2& 呢 ? 
可 考虑 如 下 的 等 式 : 

fx(z2 -=e ulz —W) 
当 2 > 时 (2z -2) = 0, 因此 翻转 /平移 后 的 方程 只 有 在 区 间 (- o ,zj] 上 才 不 为 0,， 所 以 
fx(Z -2) 最 边缘 的 那个 点 就 位 于 Y= 处 。 





图 3.3-9 (a) 概 率 密度 函数 fx(y) 和 fy(y);(b) 翻转 和 平移 后 . 产 (z -2) 的 概率 密度 函数 





@ 常用 fz =Jfx *Jy 来 表示 式 (3.3-15) 中 的 卷 积 积分 。 
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由 于 fx 和 .fy 都 是 非 连续 函数 ,因此 我 们 不 要 期 望 对 于 所 有 的 都 有 相同 的 fz(z) 表达 式 。 
这 意味 着 我 们 必须 必须 根据 2 的 不 同 取 值 , 详细 讨论 式 (3.3-14)。 
(a) 区 间 1,z <-1。 图 3.3-10(a) 给 出 了 z < -1 的 情况 。 由 于 在 此 区 间 二 者 没有 重 登 部 
分 , 因此 式 (3.3-14) 为 0, 也 是 zz <-1 时 fz(2z) = 0。 
(b) 区 间 2, -1 三 zz <1。 此 区 间 的 情况 如 图 3.3-10(b) 所 示 。 式 (3.3-14) 可 写 为 
fz(z) = > 下 e 一 (z-y)dy/ 
二 sl 二 e- (z+D)] 
(Cc) 区 间 3,z > 三 1。 这 个 区 间 的 情况 如 图 3.3-10(c) 所 示 。 利 用 式 (3.3-14) 可 得 
1 
jz) =3 | ray 


a te 7 e 一 zt] 
2 


如 果 要 将 得 到 的 结果 综合 在 一 个 图 形 上 , 必须 先进 行 一 个 最 终 的 重要 观测 : 由 于 在 计算 中 并 不 
涉及 任何 的 6 函数 ,因此 户 (z) 应 该 是 & 的 一 个 连续 函数 。 因 此 ， 作 为 对 结果 的 一 个 检验 , 在 
区 间 的 交界 处 . 户 (z) 的 结果 应 该 吻合 才 对 。 例 如 ,对 于 区 间 2 和 区 间 3 的 交界 处 , 即 z = 1 
时 ， 分 析 下 式 : 


? 二 人 二 (2 
#[1 一 e+D)] = 3 Sle (z-1l) _e (z+)] 


z=1 


很 显然 , 等 式 左右 两 端 是 相等 的 ,因此 我 们 对 得 到 的 结果 应 该 有 些 自信 (参见 图 3.3-11)。 


if (Zz—y) 

a 和. fy(y) 
1 1 
| 2 





图 3.3-10 fyx(z -2) 与 fy(y) 的 相互 位 置 关 系 。(a) z <1;(b)-1<z<l;(c)z>1 
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f(z) 





图 3.3-11 例 3.3-4 中 的 概率 密度 函数 fz(2z) 


可 以 很 容易 的 将 式 (3.3-14) 和 式 (3.3.15) 拓 展 到 2 = aX + bY 的 情况 。 不 失 一 般 性 ， 
a >0,b >0。, 那 么 g(x, y) A ne ahr to ob et 


9 


图 3.3-12 用 于 计算 2Z = aX + bY 概率 密度 函数 积分 的 区 域 ,a > 0,b > 0 


因此 有 
Fz(z) = 人 xy(z,y)dz dy 


-| > of 


类 似 地 , 我 们 仍然 通过 对 z 求 导 来 计算 f(z) 
f= | fx (EE) fay (3.3-17) 


在 此 假设 和 了 是 独立 的 随机 变量 。 同 样 地 , 可 以 通过 下 面 的 方式 来 计算 fz(z) 
Vax 


(3.3-16) 


z/a—by/a 


fx man] dy 


es 
2 


WE 人 ty 
ZEV+i+W 
在 此 仍然 假设 a > 0, 5b > 0, 以 及 也 和 了 是 独立 的 。 通 过 式 (3.3-14) 可 得 
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fz()= | f(s ww(w)aw 
其 中 , 通过 式 (3.2-2) 可 得 


以 及 


综 上 所 得 
Lt 人 2 一 入 w 
fz(2) = 证 | fx (于 2 ) fy (F) du (3.3-18) 


尽管 式 (3. 3-18 ) 和 式 (3. 3. 17) “看 起 来 " 不 太 相 似 ， 其 实 二 者 是 等 价 的 。 我 们 只 需 把 
式 (3.3-18) 中 的 变量 替换 为 y A w/b 就 能 得 到 式 (3.3-17) 的 结果 。 


例 3.3-5 ( 毛 贷 子 游戏 ) 在 美国 许多 地 方 ,， 用 对 合法 博彩 业 收 取 的 税 费 来 补贴 公共 教育 ， 
修 路 等 。 博 彩 场 所 通过 对 赔 率 的 设 定 来 获取 利益 。 在 非常 流行 的 拨 贷 子 游戏 中 , 玩家 需要 狂 
三 个 同时 搁 出 的 虎 子 点 数 。 每 个 点 数 都 是 有 可 能 的 , 不 同 的 点 数 对 应 不 同 的 赔 率 。 出 现 可 能 
性 很 大 的 点 数 对 应 的 收益 往往 很 小 , 而 对 于 那些 不 太 可 能 出 现 的 点 数 就 设置 了 较 大 的 赔 率 。 
在 一 个 大 型 博彩 场所 ， 赔 率 的 设置 如 下 : 


1. 三 个 殿 子 点 数 之 和 等 于 4 或 者 17, 60 比 1 的 赔 率 。 
2. 三 个 鹏 子 点 数 之 和 等 于 5 或 者 16, 30 比 1 的 赔 率 。 
3. 三 个 鹏 子 点 数 之 和 等 于 6 或 者 15, 17 比 1 的 赔 率 。 
4. 三 个 朋 子 点 数 之 和 等 于 7 或 者 14, 12 比 工 的 赔 率 。 
5， 三 个 朋 子 点 数 之 和 等 于 8 或 者 13, 8 比 工 的 赔 率 。 
6. 三 个 鹏 子 点 数 之 和 等 于 9, 10, 11 或 者 12, 6 比 1 的 赔 率 。 


在 此 解释 一 下 , 60 比 1 的 赔 率 是 指 : 玩家 押 1 美元 , 如 果 这 个 事件 发 生 了 ， 那么 将 得 到 
60 -1 美元 (1 美元 是 本 金 ) 。 那 么 计算 各 个 事件 发 生 的 概率 就 非常 有 意思 了 。 

解 ” 所 有 可 能 的 点 数 其 实 由 三 个 独立 同 分 布 随机 变量 之 和 决定 。 令 及 ,了 各 分别 表 示 
三 个 股子 的 点 数 。 为 了 求 出 计算 结果 ， 我 们 需要 用 到 两 个 连续 卷 积 。 因 此 对 于 两 个 服 子 点 数 
之 和 , 卫 + 了 的 累积 分 布 函数 为 Prir(1) 4 室 ，,Pr(1 -让 Pr( 们 ,结果 如 图 3.3-13 所 示 。 为 了 计 


算 三 个 随机 变量 之 和 的 Px,y,z(n) ,需要 进行 第 二 次 卷 积 Pxsy,z(n)=，,Pz(n-i)Pr,y(i)。 
结果 如 图 3.3-14 所 示 。 经 过 第 二 次 卷 积 , 我 们 得 到 了 最 终 需要 的 结果 。 

在 此 定义 一 个 所 谓 的 “公平 赔 率 "”(FP) , 意思 是 平均 而 言 博 彩 场所 既 不 会 亏本 ， 也 不 会 从 
玩家 那里 赢 钱 趾 。 如 果 玩 家 用 工 美元 对 事件 吾 押 注 ， 对 于 公平 赔 率 而 言 获得 的 收益 应 该 是 0， 
有 0 =-$1.00 + FP xPIE], 那么 有 FP = 1/P[E|]。 





@ 很 显然 , 博彩 场所 是 需要 通过 大 量 的 盈利 来 维持 各 种 开支 , 比如 薪水 , 日 常 水 电 开 支 等 。 这 里 ”公平 赔 率 " 的 定义 忽略 了 
这 些 开支 。 另 外 , 何谓 “平均 ”, 我 们 将 在 第 4 章 详 细 讨论 。 
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涉 


Fy (n) 


1 2 机 
两 个 般 子 点 数 之 和 , / 


图 3.3-13 ”两 个 骨 子 点 数 之 和 的 概率 分 布 
通过 图 3.3-14, 我 们 可 以 直接 给 出 如 下 的 结果 : 


点 数 之 和 为 4 或 17 的 可 能 性 为 3/216, 那么 公平 赔 率 应 该 是 72:1( 与 60:1 相 比 较 )。 
点 数 之 和 为 5 或 16 的 可 能 性 为 6/216, 那么 公平 赔 率 应 该 是 36:1( 与 30:1 相 比 较 )。 
点 数 之 和 为 6 或 15 的 可 能 性 为 10/216, 那么 公平 赔 率 应 该 是 22:1( 与 17:1 相 比 较 )。 
点 数 之 和 为 了 或 14 的 可 能 性 为 15/216, 那么 公平 赔 率 应 该 是 14:1( 与 12:1 相 比 较 )。 
点 数 之 和 为 8 或 13 的 可 能 性 为 21/216, 那么 公平 赔 率 应 该 是 10:1( 与 8:1 相 比 较 )。 
点 数 之 和 为 9 或 12 的 可 能 性 为 25/216, 那么 公平 赔 率 应 该 是 9:1( 与 6:1 相 比 较 )。 
上 点数 之 和 为 10 或 11 的 可 能 性 为 27/216, 那么 公平 赔 率 应 该 是 8:1( 与 6:1 相 比 较 )。 


7 
25 


Pe 


216Px4y+z (n) 








- 浊 


3 本 信和 和 8 让 二 这 了 到 玛 寺 折 人 井 
图 3.3-14 ”三 个 骨 子 点 数 之 和 的 概率 分 布 


例 3.3-6 (平方 律 检 波 器 ) 令 肝 和 了 为 独立 同 分 布 的 随机 变量 , 分 布 为 U( 一 1, 1)。 计 算 
VA (了 + 了 )” 的 概率 密度 函数 。 

解 ”分 两 个 步骤 来 求解 这 个 问题 。 首 先 计 算 Z 和 A 著 + 了 的 概率 密度 函数 ,然后 再 计算 
V = 2 的 概率 密度 函数 。 利 用 脉 宽 给 形 子 数 可 得 


fx(e) = Brect (9) 
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六 四 -je 人 


jx(z 一 1) = 三 rect (: — ? ) 





根据 式 (3.3-14) 可 得 
类 (到 会 2 请 Tect (¥) rect ( 瑟 ?) dy (3.3-19) 


计算 式 (3.3-19) 最 好 的 方法 就 是 在 图 形 上 跟踪 它 的 “移动 ", 也 就 是 跟 z 有 关 的 方程 rect((z - 
Y)/2) 与 跟 z 无 关 的 方程 rect(Wy/2) 相 比 较 。 这 里 所 谓 的 “移动 ", 是 指 随 着 2 的 变化 ,方程 
fx((zZ -yy)/2) 好 像 在 方程 fj(Yy) 上 移动 。z 的 4 种 取 值 情况 如 图 3.3-15 所 示 。 


fx(Z—y) fy(y) 








Ps 一 1 
ss , 
| ! 1 | 2 
-> ' 
I 1 1 1 
1 1 1 | 
z—1 z+1 —1 1 y 
(a) 
1 1 
I | 
1 | 
1 SN 1 
| 1 
之 一 人 -1 z+1 1 Y 
(b) 
I | 
1 1 
> 
I 1 
I I 
一 1 z—1 1 z+1 y 
(c) 
fyly) fx(z—y) 
| ! | 1 
! | -= 
1 | 1 1 
1 | 1 1 
-< 1 Z 一 1 z+1 YY 
(d) 


图 3.3-15 在 4 个 区 间 上 两 个 均匀 分 布 的 卷 积 。(a) z <-2;(b) -2<z<0;(c)0<z<2;(d)z>=2 
户 (2) 在 4 个 区 间 的 计算 如 下 : 
(a) 2z < 一 2, 该 区 域 没 有 重合 的 区 间 ， 所 以 
fz(z)=0 
(b) -2 和 zz <0, 在 该 区 域 重 合 的 区 间 为 (一 1, Zz +1), 所 以 


z 二 1 
加 = 了 | yae+2) 
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(c)0 友 2 <2, 在 该 区 域 重合 的 区 间 为 (Zz 一 1, 1), 所 以 


1 
fz(d) =3| oy— 32- 


(d) z 三 2, 该 区 域 没 有 重合 的 区 间 ， 所 以 
fz(z)=0 
综 上 所 述 , 最 终 的 结果 为 


fz(z) = 3(2 — lal)rect (4) (3.3-20) 
结果 如 图 3.3-16 所 示 。 

为 得 到 最 终 的 解答 , 我 们 还 需要 计算 V = ZZ 的 概率 密度 函数 。 利 用 式 (3.3-19) 来 计算 
fy(v) ,其 中 g(z) = 邓 。 当 v >0 时 ,方程 0-22 =0 有 两 个 实 根 , 分 别 是 2 = VV 和 2s = 一 Vv; 
当 v < 0 时 , 方程 没有 实 根 。 将 式 (3.3-20) 代 入 下 式 

2 
fv(v) = 》 fz(z)/(2|z|) 


i=1 


可 得 
是 ( 亏 一 1 0<wv4 
fv(v)=44\v 本 (3.3.217 
0， 其 他 
结果 如 图 3.3-17 所 示 。 
fv(v) 


fz(2) 


0.25 





0 1 4 V 
图 3.3-16 2 = 了 + 了 的 概率 密度 函数 , 和 和 了 了 是 独立 同 分 图 3.3-17 例 3.3-6 中 了 的 概率 密度 函数 
布 的 随机 变量 ,服从 ( -1, +1) 区 间 上 的 均匀 分 布 
可 以 利用 离散 卷 积 来 计算 离散 随机 变量 之 和 的 概率 密度 函数 。 例 如 , 设 和 和 了 是 两 个 随 
机 变量 ， 可 能 的 取 值 分 别 是 Xl Tr, Ce 和 yl Wr Yi, nt 那么 Z 全 po 过 了 很 显然 也 是 离散 
的 , 它 的 概率 质量 函数 为 


Pa(zi) = > Px,y (Tk, Yj) 


i (3.3-22) 
如 果 了 和 了 是 独立 的 , 式 (3.3-22) 可 写 为 
Pz(2%) = Px (zr)Py (yi;)= >》 Px (zk)Py (zn — Tk) (3.3.23a) 
TK 十 2 一 Zm 二 
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如 果 z,, 和 zx 是 等 距 的 ?, 那么 式 (3.3-22a) 就 可 以 看 成 一 个 离散 卷 积 ， 又 可 以 写 为 


=- Px(k)Py(n—k) (3.3-23b) 


在 后 面 我 们 会 学 习 如 何 使 用 式 (3. 3-22b ) 。 
例 3.3-7 ( 伯 努 利 分布 随 机 变量 之 和 ) 设 Bl 和 B, 为 两 个 独立 的 随机 变量 , 二 者 服从 伯 努 
利 分 布 , 概率 质量 函数 如 下 : 


0， 其 他 
令 叶 A B+Bs, 求 它 的 质量 密度 函数 Py(m)。 我 们 从 一 般 性 的 结论 入 手 
十 co 
Pu(m)= > Ps,(k)Ps,(m 一 月 
b=—o0 


-Pat )Ps,(m — k) 


由 于 每 个 B, 的 可 能 取 值 只 能 是 0 和 1, 因此 MM 可 能 的 取 值 只 能 是 0, 1 和 2。 对 于 m 取 其 他 值 
的 情况 , Py(m) = 0。 这 个 结果 从 图 3.3-18 的 离散 卷 积 中 也 可 以 看 出 来 。 
RB (b) B (m-b) 






滑动 到 右 侧 


0 2 
图 3.3-18 两 个 伯 努 利 分 布 随机 变量 的 离散 卷 积 
现 计 算 Py 中 的 非 0 值 ， 可 得 
Pu(0) = Pgp, (0)Ps,(0) = gq? 
Pu(1) = Psp, (0)Ps,(1) + Pp (1)PBs,(0) = 2pg 
Pu(2) = PB (1)PB,(l) =p 
学 生 可 能 会 注意 到 用 其 实 服从 二 项 分 布 b(k; 2, Pp)。 为 什么 会 是 这 样 的 呢 ? 如果 再 加 入 一 个 
独立 的 伯 努 利 随机 变量 , 会 发 生 什么 情况 呢 ? 
例 3.3-8 ( 泊 松 分 布 随机 变量 之 和 ) 设 及 和 了 是 两 个 独立 的 随机 变量 , 二 者 服从 泊 松 分 
布 ， 概率 质量 函数 分 布 为 Px(k) = 由 ea 和 Py(i) = 宙 e*b'， 其 忠和 分 别 是 和 了 光 
松 分 布 的 参数 。 令 了 全 + 了， 那么 的 概率 质量 测 数 Ps(n) 如 下 可 得 
-DP )Py(n—k) 
(3.3-24) 


Da —(a+b) kpn—k 
= eT ab 

1 SS 1 
> Kn —k)! 


@ * 例 如 ,z， = nA,z = kA, 其 中 A 是 一 个 常数 。 
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根据 二 项 式 定理 
的 akbn—k = (a + b)" (3.3-25) 


可 得 


(3.3-26) 
_ (a+b)"” _(ats) 
nl 和 E 
结果 服从 参数 为 a +b 的 泊 松 分 布 。 那 么 可 得 到 如 下 重要 的 结论 : 参数 分 别 为 a 和 bb 的 独立 泊 
松 随 机 变量 , 二 者 之 和 服从 参数 为 (a +b) 的 泊 松 分 布 。 


例 3.3-9 (二 项 分 布 随 机 变量 之 和 ) 现 在 再 来 求解 一 个 比 前 一 个 例题 更 富 挑 战 性 的 问题 ， 
即 二 项 分 布 随机 变量 和 和 了 之 和 。 令 G = 六 + 了 ,那么 概率 质量 品 数 Ps(m) 如 下 可 得 : 


Pz(m) = >; Px (k)Py(m 一 大 ) 


k=—o00 
其 中 
0 k<0 
Px(k) = Py(k) = Le prq™ *, 0<k<n 
0 k>n 
那么 可 得 


min(n,m) 
米 旬 站 二 二 n EE 
Pm= > (中 mm 村 kgn 一 (mn 有 


k=max(0,m—n) 


min(n,m) 
m2n—m 也 nN 
a 


k=max(0,m—n) 


上 面 的 求 和 公式 需要 限定 0 三 大 过 丸和 0 三 1 一 kk 过 n, 其 中 后 一 个 条 件 与 m -nk<m 等 
价 。 还 可 知 求 和 的 取 值 范围 应 该 是 max(0, 7a -7) <k<min(n, m)。 


再 利用 一 个 神奇 的 结论 
min(n,m) 
ee (8.327) 


k=max(0,m—n) 
可 得 到 的 概率 质量 另 数 如 下 : 


Pa(m) = (2 ) pga" S blms2n,) (3.3.28) 


mm 


综 上 可 得 , 两 个 独立 同 分 布 的 二 项 分 布 随机 变量 之 和 仍然 服从 二 项 分 布 , 其 中 求 和 之 前 概率 质 
量 函 数 为 b(k; ,D), 求 和 后 的 概率 质量 函数 为 b(k; 2n, p)。 

为 了 验证 式 (3.3-27) 成 立 与 否 , 我 们 注意 到 无 论 是 mM >n( 即 从 hk =m 一 nn 到 kk =n 求 
和 ) 还 是 mm 三 n( 即 从 k =0 到 kk =m 求 和 ), 左边 表达 式 的 值 都 相等 。 一 个 简单 的 方法 就 是 把 
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左边 的 这 个 表达 式 在 两 种 情况 下 分 别 展开 。 当 m 过 人 时 ,展开 情况 如 下 : 


(om) (3.3-29) 


当 ?72 > 了 时， 展开 可 以 得 到 同样 的 结果 。 

进一步 验证 式 (3.3-27) ,注意 到 子 总 体 m 的 取 值 由 总 体 2n 决定 , 为 Co 。 但 是 也 可 以 由 
另外 一 种 方法 来 计算 子 总 体 的 数值 ,可 将 总 体 2n 拆 成 两 个 分 别 是 的 总 体 。 设 这 两 个 总 体 分 
别 叫 做 入 和 B。 那 么 磁 积 CrC%4 可 以 看 成 从 A 路 个子 总 体 到 如 中 mr -天 个 子 总 体 所 有 可 能 
的 路 线 。 这 样 就 有 


[MI 


CRCOZ = On (3.3-30) 


x 
l 


0 
根据 前 面 提 及 的 
SY ORC 一 》 CC _HO 
k=m—n k=0 

可 知 当 天 从 7 一 rn 到 Nn 变化 时 , 式 (3.3-27) 是 成 立 的 。 

在 第 4 章 , 我 们 还 会 学 习 一 种 简单 的 方法 来 证 明 独 立 同 分 布 的 二 项 分 布 随机 变量 之 和 仍 
然 服 从 二 项 分 布 。 这 种 方法 用 到 的 变换 称 为 矩 生 成 函数 以 及 (或 者 ) 特 征 函 数 。 

我 们 曾 在 3.2 节 提 到 过 , 尽管 式 (3.3-23a) (该 公式 的 拓展 将 在 3.4 节 介 绍 ) 用 来 求解 这 种 
类 型 的 问题 非常 方便 , 但 非 直接 法 有 的 时 候 会 更 简单 。 接 下 来 我 们 用 一 些 例 题 来 介绍 。 

例 3.3-10 (平方 和 ) 令 和 和 了 为 独立 同 分 布 的 高 斯 随机 变量 ,服从 和 :N(0, o )。 求 Z 
全 pg 十 YY 的 概率 密度 函数 。 

解 。 根据 式 (3.3-2) 中 的 基本 结论 


Fz(z) = | xyr(z,y)dz dy, 艺 基 有 
(ZY)EC: 


1 (3.3-31 ) 


Ep 一 (1/2c2)(z2 十 y2) 4, 
人 e dz dy 
区 域 C, 即 图 3.3-19 中 的 阴影 区 域 。 

在 极 坐 标 体系 中 更 方便 计算 式 (3.3-31) 。 令 


并 一 六 COSO 4 一 7rsinb 
dz dy 一 rd7rd0 
那么 妇 + 人 过 2 一 7 去 2, 此 时 式 (3.83-31) 转变 为 


LL 27 Vz 1 2 
Fz(z) = 天 一 dg rexp (| -537 dr 
0 


二 2 
2TO 0 





=|[1— ez/20° ]u(z) 


图 3.3-19 事件 1{ 球 + 严 三 z| 
《3. 3-32 ) 的 区 域 C.,z 宇 0 





Q@ 也 可 以 对 右边 表达 式 进行 变量 替换 1 A m -验证 这 个 公式 。 此 时 的 求 和 顺序 是 从 大 到 小 的 , 但 翻转 求 和 的 顺序 不 会 影 
响 求 和 的 结果 。 
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以 及 
dFz(z) 1 
ld 

综 上 , 当 妃 和 了 是 独立 同 分 布 的 零 均 值 高 斯 随机 变量 时 ,2 = 四 + 更 是 一 个 服从 指数 分 布 的 
随机 变量 。 

例 3.3-11 (平方 和 开 方 ) 把 前 面 一 个 例题 修改 为 求 Z A (于 + 天)” 的 概率 密度 函数 ， 
得 到 的 结果 完全 不 同 。 同 样 地 , 我 们 仍然 利用 式 (3.3-2) ， 只 不 过 此 时 C.。 为 图 3.3-20 中 的 阴 
影 区 域 。 

因此 有 


ez/20° wu(z) (3.3-33) 





六 二 = 3 厂 db | RE (-ar) dr de 
=(1—e /2 )u(z) 
以 及 
fz(2) = 0 /> ulz) (3.3-35) 
上 式 为 瑞 利 概率 密度 函数 , 这 也 可 以 看 成 自由 度 为 2 的 Chi 平方 分 布 。 图 3.3-21 同时 给 出 了 
指数 分 布 和 现 利 分 布 的 概率 密度 函数 。 


fz(z ) 





图 3.3-20 事件 | (+ 耿 ) ”< z| 的 区 域 C。 图 3.3-21 瑞 利和 指数 分 布 的 概率 密度 函数 


早 在 20 世纪 40 年 代 , Stephen O. Rice” 引 就 在 电 噪 声 方面 做 了 诸多 先驱 性 的 工作 , 他 的 

研究 表明 具有 中 心 频率 w 的 窜 带 噪声 信号 可 以 用 如 下 的 模型 表示 : 
Z(t) = Xcoswt+Y sinwt (3.3-36) 

其 中 t 是 时 间 , w 是 弧度 频率 , 单位 为 rad/s, 和 和 了 是 独立 同 分 布 的 高 斯 随机 变量 , 概率 密度 
函数 为 N(0, o?)。 包 络 Z A (下 + 严 )22 服从 参数 为 er 的 瑞 利 分 布 。 

下 一 个 例题 将 把 例 3.3-10 的 结论 一 般 化 , 将 得 到 通信 理论 中 一 个 非常 有 用 的 结论 。 

“ 例 3.3-120 (Rice 分 布 )2S. 0. Rice 曾经 考虑 过 这 样 一 个 问题 : 设 系 和 了 是 独立 的 高 
斯 随机 变量 , 且 了 及: N(P, o2), 7: N(0, 0 ), 试 求 Z = (并 + 更 ) 吧 的 概率 密度 函数 。 注 意 到 
当 己 = 0 时 就 是 例 3.3-11 的 结论 。 





@ 带 * 号 的 例题 有 些 难度 , 在 第 一 次 学 习 的 时 候 可 先 不 考虑 这 些 例题 。 
@ 有 的 时 候 也 称 为 Rice-Nakagami 分 布 , 这 是 出 于 尊重 Nakagami 在 第 二 次 世界 大 战 期 间 对 此 做 出 的 贡献 。 
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可 写 出 如 下 表达 式 : 
1 人 z—P]? y\2 | 
Fz(z) == 270? 由 二 | 2 (| oO | (2 ) dz dy, 0 
0 z<0 


(3.3-37) 
根据 笛 卡 儿 上 坐标 系 到 极 坐 标 系 的 转换 , 即 x = 7c0s0, Y = 7sing, 7 = (x+Y)“,0 = 
arctan(WZ) ， 可 得 

exp 这 由 三 之 a 2T 
Fz(z) = | 2( | e—$(r/o)? (| erPcosb/c a ) rdr.u(z) (3.3-38) 
0 0 


2702 





其 中 下 面 的 方程 被 称 为 第 一 类 零 阶 修正 贝 塞 尔 方程 , 该 方程 单调 递增 类 似 于 指数 函数 @”。 


2T 
可 zcos0d0 
二 | e d 


利用 上 面 的 记号 , 复杂 的 式 (3.3-38) 可 简化 为 


i 





exp |—1 (2)°| 
| | rh () iar- ul (3.3-39) 
0 
其 中 阶 跃 函 数 &(z) 确保 对 于 所 有 的 2 上 式 都 成 立 。 为 了 得 到 fz(z), 我 们 对 上 式 关于 必 求 导 
得 到 
Z P32 Z 
jz)= 训 exp| 3( - 镍 二 ( 瑟 ) Ga (3.3-40) 


式 (3.3-40) 给 出 的 表达 式 称 为 Rice 概率 密度 函数 。 由 于 元 (0) =1, 当 P = 0 时 就 成 为 瑞 利 分 
布 。 当 zP 污 oo, 即 1(:) 的 自 变量 很 大 时 , 我 们 采用 如 下 的 近似 计算 : 


eT 


TE) Orr) 73 


可 得 





1 z \1/2 1 2 
2 仿 —#[(z—P)/o] 
fz(2) Do? [十 


此 时 基本 上 成 为 高 斯 分 布 [除了 多 了 一 个 因子 (2z/P)”]。 这 就 是 一 个 较 强 的 正弦 函数 与 一 个 
较 弱 的 窒 带 高 斯 嗓 声 之 和 的 包 络 的 概率 密度 函数 ,这 种 情况 在 电子 通信 中 不 太 容 易 发 生 。 


3.4 了 =g(X, 7Y), W = 有 hh( 针 ,了 ) 型 问题 的 求解 

对 于 具有 两 个 随机 变量 的 两 个 方程 , 其 实 可 以 看 成 前 面 问题 的 一 种 拓展 , 只 不 过 这 个 时 候 
计算 起 来 有 些 麻烦 。 
基础 问题 


已 知 两 个 随机 变量 了 ,了 , 它们 的 联合 概率 密度 函数 fxy(x, y), 两 个 可 微 函 数 g(x, y) 和 
h(x, y)。 根 据 V = g(X, 了) 和 W = h( 马 ,7) 来 产生 两 个 新 的 随机 变量 。 试 问 如 何 计算 V 和 
W 的 联合 累积 分 布 函数 Fyw(v, w) [或 者 联合 概率 密度 函数 fyw(v, w)」]? 
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问题 描述 

1. 通信 系统 中 经 常 遇 到 的 一 种 变换 关系 如 图 3. 4-1 所 示 , 例如 立体 声 基带 系统 的 参 
数 - 引 其 中 1a;} 表示 增益 。 如 果 a， = a。= cosbg, as = a = sin9, 那么 这 个 电路 就 是 
一 个 典型 的 “9 转动 变换 器 ”。 在 男 外 一 种 情况 下 , 如果 用 兰 和 了 来 分 别 表示 立体 声 播 
放 系 统 中 的 左右 通道 采集 来 的 信号 ， 当 所 有 的 a; 都 设 定 为 1 时, V 和 WW 就 分 别 表 示 差 
信号 及 和 信号 。 此 时 就 可 以 用 和 差 信 号 来 产生 待 传送 的 信号 。 如 果 假 设 没有 源 信号 ， 
和 和 了 就 只 表示 高 斯 噪声 , 那么 了 和 WW 的 概率 密度 函数 是 什么 ? 

2. 飞机 的 着 陆 点 同 预定 着 陆 位 置 之 间 的 误差 , 在 笛 卡 儿 坐 标 体系 中 用 (也 , 了) 来 表示 。 我 
们 希望 在 极 坐 标 体系 中 描述 这 种 误差 , 即 VA (了 Y+ 耿 )“, W A arctan(Y/X)。 如 果 
已 知 笛 卡 儿 坐 标 体 系 中 着 陆 误差 的 联合 概率 密度 函数 fxy(xX, y) , 如 何 计算 极 坐标 体系 
中 着 陆 误差 的 概率 密度 函数 ? 

求解 该 问题 就 是 需要 求 出 点 集 C,，, 使 得 事件 |1V < v, W < w| 和 事件 | (X,Y) € Cl 

等 价 2。 此 时 , 基本 联系 为 
PIV <v,W <w EFyw(v,w) 


(3.4-1) 
= | fxy(z,y)drdy 
(TZ,Y)ECuw 


区 域 Cu 由 点 和 来 设 定 , 需 满 足下 面 的 等 式 : 
Cow = {(2,9): 9(7,Y) < v,h(z,y) < w} (3.4-2) 
下 面 我 们 将 用 一 个 例题 来 讲解 式 (3.4-1) 的 使 用 。 


例 3.4-1 (和 与 差 ) 已 知 VAKR+Y, WAX-Y, 试 求 概率 密度 函数 Jyw(V, WW)。 点 集 Co 
由 条 件 g(x, y) AxX+Yy<VvV 和 h(xX, Y) AX-Yyw 约 束 而 成 。 当 VV >0,WwW>0 时 如 
图 3.4-2 所 示 。 


< 
x 
| 
到 
I 
时 





NN 


\. 
.< 





NN 


图 3.4-2 例 3.4-1 中 的 点 集 Cw。( 图 中 阴影 部 分 ) 
在 阴影 区 域 的 积分 为 





Q@ ”采用 更 加 详细 的 记号 , 应 该 写 为 1:V(t) <v, W(t) < w| = 1¢:(X(6), Y(L)) € Cl。 
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(v+w)/2 VU—Zz 
Prew-| (fr ney) (3.4-3) 
为 了 计算 联合 概率 密度 函数 fw(0, tw0), 在 此 利用 式 (2.6-30) 的 结论 ， 可 得 
fvw(v,w) = yt 
a Se Fs fxY(z, way) dz 


人 一 了 
To | ‘hs: fxY(7T,Yy jay ) | 
0 三 下 0 fo-z 
二 a 0 a 
ho | (v—w)/2 Her( 2 ,9) y +| ep (总 be fxY (& Wey) dz 
0 (v+w)/2 
= | jxyr(zZ 一 岂 )dzZ 


因为 对 于 连续 随机 变量 X 和 第 一 个 积分 值 为 0， 所 以 有 


0 [Wtw)/2 
-| 


1 人 也 十 山 VC—w 
-jzr( 汪汪 ) 
(3.4-4) 


在 此 利用 了 对 积分 求 导 的 一 般 公式 (参见 附录 A.2)。 这 个 简单 的 问题 涉及 了 线性 方程 和 两 个 
随机 变量 , 需要 谨慎 求解 才能 得 到 联合 概率 密度 函数 的 表达 式 。 因 此 ,对 于 本 节 这 种 类 型 的 问 
题 ， 以 及 扩展 到 也 个 随机 变量 的 情况 ， 即 Y = (Rs Yo = 
= g, (XX ，…， 并 )， 需 要 用 到 一 种 称 为 "直接 法 "的 技术 ， 该 方法 可 用 来 求解 联合 概率 密度 函 
数 。 其 实 这 是 式 (3.2-23) 在 二 维 情况 下 的 一 种 扩展 。 


Jxy(T， 一 w)dz 








图 3.4-1 一 个 用 于 二 元 变量 之 间 转 换 的 矩阵 


由 fxy 直接 求 fyw 


我 们 在 此 不 再 采用 式 (3.4-1) , 改 用 一 种 新 的 方法 来 求 fww(v, w)。 考 虑 如 下 的 基本 事件 
{v<V<v+i+dvw<W<w+tdwv} 


以 及 一 一 映射 0 的 可 微 方程 v= g(x, y) 和 ww = h(x, y) 。 道 映射 存在 , 为 x = $(v, w) 和 2 = 
(Vv, w)。 后面 将 考虑 更 一 般 的 情况 , 即 一 组 以 上 的 (x;, y;) 来 产生 给 定 的 (v, w)。 

概率 Plv <V<v+dv,w<W<w+dw] 是 指 V 和 WW 落 在 一 个 无 限 小 矩形 区 域内 的 概 
率 , 该 矩形 区 域 的 四 个 顶点 分 别 为 (wu W) ，( + du, w), (v, w+dw) 和 (v+dv, w+dw)。 
这 个 和 矩形 区 域 在 x, y 坐标 系 的 像 是 2 一 个 无 限 小 的 平行 四 边 形 , 四 个 顶点 分 别 是 


Pi = (7,Y) 

P= (z 十 Poav,y 丰 er) 

= (z 十 du 十 dw) 

2 二 (z 十 Dod 和 dg 十 du 十 dw) 


映射 关系 如 图 3.4-3 所 示 。 





(a) (b) 
图 3.4-3 (a)v-w 坐标 系 中 一 个 无 限 小 的 矩形 区 域 ; (b) 映射 到 x-y 坐标 系 中 一 个 无 限 小 的 平行 四 边 形 


令 罗 表 示 图 3.4-3(a) 中 的 矩形 区 域 , 表示 图 3.4-3(b) 中 的 平行 四 边 形 区 域 , 且 用 
A( 罗 ) 和 A(.) 分 别 表示 区 域 罗 和 .的 面积 , 那么 可 得 


Py <V<vtdvw <We<y+dw = || frwll, Watan (3.4.5) 
= fvw(v,w)A(R) (3.4-6) 
= || frye matan (3.4.7) 
= fxy(z,y)A(Y ) (3.4-8) 


其 中 , 式 (3.4-5) 由 式 (3.4-1) 中 给 出 的 基本 关系 得 出 ; 式 (2.4-6) 由 式 (3.4-6) 中 对 概率 密度 函 
数 的 解释 得 出 ; 式 (3.4-7) 由 对 点 集 . 史 的 定义 得 出 , 即 为 使 得 事件 1(V, W) s 罗 | 和 事件 
| (了, 了) e .| 等 价 的 点 的 集合 ; 式 (3.4-8) 再 次 用 到 了 关于 概率 密度 函数 的 解释 。 

通过 式 (3.4-6) 和 式 (3.4-8) 可 得 





@ 每 个 点 (x, y) 只 映射 到 唯一 的 点 (v, w), 反之 亦 然 。 
@ 参见 例 [3 -4, p.769]。 
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fvw(v,w) = 全 xyr(z,y) (3.4-9) 





其 中 x = $(v, w),Y = yw(v, WwW)。 
至 此 可 知 , 其 实 只 需要 计算 两 个 面积 之 比 。 这 部 分 内 容 已 在 附录 C 里 面 完 成 。 在 此 我 们 
将 要 认识 到 , 面积 之 比 4(. 史 )/4(. 罗 ) 是 雅 可 比 变 换 x = 由 (2,， w),Yy = ww(v, w) 数值 的 大 
小 , 在 此 用 了] 表示。 如 果 方 程 = 9(Z, y) ,Ww = h(x, y) 的 解 不 止 一 个 , 即 % = $1 (Vv, WwW), i 
= Wi(V, WwW), vo = ba(V, WwW), Ye = avV, W), ,Tn = bn(V, W), Yn = yn(v,， Ww) ,那么 
区 域 . 罗 映射 到 多 个 不 相交 的 区 域 . 有 4, .%,…, %, 以 及 A(F)/4A(%) =1 Ji1,ii=1,…, no 
其 中 | 元 | 经 常 被 写成 行列 式 的 形式 
Oi/0v O09i/Ow 
Ow;/Ou OW;/Ow 


最 终结 果 得 到 如 下 重要 的 公式 


卫 [ 二 ma | = od, /By x Be Bu — DyfBu x hr fow] (8, 410) 


fvw(v,w) = >》 fxy (zi Yi)|N (3.4-11) 


i=1 
根据 附录 C 可 知 1 .1 =1 J,| A1 39/9x; x 9h/9yi; -gayi Xx 9h/9xi1 ,那么 可 得 到 该 重要 公 
式 的 等 价 形式 a 
fvw(v,w) = > fxy (zi,yi) /| (3.4-12) 
i=1 
例 3.4-2 (线性 方程 ) 已 知 如 下 两 个 方程 : 
a 一 3z 十 54 
A (3.4-13) 
w=h(z,y) =7z+2y 
以 及 这 两 个 随机 变量 尺 和 了 的 联合 概率 密度 函数 fxy。o 试 求 两 个 新 的 随机 变量 了 = g(, 了 ) 和 
W = h( 人 ,了 ) 的 联合 概率 密度 函数 。 
解 ” 根 据 式 (3.4-13) 求 出 逆 映 射 
w= B= dw 
gy = WV) = = 3 











Ti O09 Db Ou Ov 
人 
一 Ov 一人 
以 及 
~ 2 一 5 
[7| = mag - 3 | 5 





在 此 假设 fiy(X，Yy) = (2m) exp[ -去 (人 ?+ 妨 )]。 那 么 根据 式 (3.4-11) 可 得 





fvw(v,w) = 元 exp | [C20 5w)? 十 (一 十 au 





1 出 
= 37 XP | 本 (5 26vw 十 ao] 


可 知 ， 非 相关 高 斯 随机 变量 通过 变换 成 为 了 相关 的 高 斯 随机 变量 。 


第 3 章 随机 变量 的 函数 141 


例 3.4-3 (两 个 有 序 的 随机 变量 ) 已 知 两 个 独立 同 分 布 随机 变量 , 概率 密度 函数 为 fy (Xx) = 
frx(X) = fx(X)。 定 义 两 个 新 的 随机 变量 了 = min( 名 ,Xs) 和 了 = max(X ,Xs)。 很 显然 ， 
了 < 了 0 意味 着 了 的 实现 总 比 了 的 实现 小 。 根 据 下 面 的 条 件 , 试 求 卫 , 卫 的 联合 概率 密度 
涵 数 fyy (Yi, Ys)o 

Y= g(Xi1,X2) = min(X1, X») 
Y2 = h(Xi, X2) = max(X1, X») 

解 ” 从 图 3.4-4 可 知 (为 方便 起 见 , 我 们 只 给 出 了 第 
一 象限 , 但 在 具体 计算 中 四 个 象限 都 要 考虑 ) ， 有 两 个 不 
相交 的 实数 区 域 , 因此 就 有 两 个 解 。 注 意 到 在 区 域 . 罗 , 中 
WI > Wz, 在 区 域 . 罗 ,中 Xl < 和 因此 在 . 史 , 中 有 2 = XY， 

Ya = Vi, 采用 及 和 9 记号 就 是 = gi(Yi, Vs) = 2z， 
Ys = hi(X1, Xs) = Xi。 该 变换 的 雅 可 比值 为 1， 所 以 
fyr,( Yi, Ys) = fxx Ys, Yi1) = fx(Y2)fr (Yi), Yr < Yo 

在 区 域 . 吧 中 重复 上 面 的 计算 过 程 ， 可 得 WY = 图 3.44 例 3.3-6 中 讨论 的 两 个 区 域 
g2(T1, Ws) = Wi, Ys = hso(Xi, Wo) = Ys，, 该 变换 的 雅 可 比值 仍然 为 1。 因 此 可 得 fyy,(Yy1, Y;) 
= fxx(Y1,，Y2) =Jfx(Y1)fx(y2),，Y， < Yo 把 两 个 区 域 得 到 的 结果 (或 根 ) 合 并 起 来 


XI 二 22 





Xl 


2 X = < < 1/ 和 
| He washes Fo <y<% 


留 给 读者 的 问题 : 已 知人 入。 是 相互 独立 的 ,那么 了 和 了 ,也 是 相互 独立 的 吗 ? 


例 3.4-4 (有 序 随机 变量 的 边缘 概率 ) 在 上 一 个 例题 中 ,我们 利用 两 个 独立 同 分 布 的 随 
机 变量 了 和 Xs 生成 了 了 和 ,了 < 了。 和 了 的 联合 概率 密度 函数 为 fyy (Yi， Ys) = 
2fx(Y1)fx(Ys), 其 中 一 < Yl < Y。< %。 在 此 试 求 了 号 ,了 的 边缘 概率 密度 函数 。 
解 欲求 fy (Yi)， 需要 在 Yy，。> Yi 区 间 对 fyy (Yi,， ys) = 2fx(Yi)fx(ys) 进行 积分 。 
fy(y1) = 2fx(y1) | fx(y2)dy2 =2fx(yi) (1 — Fx(y)), ~ < < 
yl 


类 似 地 ， 欲求 fy.(Y,) ,需要 在 区 间 Y1 < Y» 对 fyy, (Yi ， Ys) = 2fx(Yi)fx(yz) 进行 积分 。 


V2 
= 2 | i a 


例 3.4-5 (两 个 高 斯 随机 变量 的 最 大 值 和 最 小 值 ) 我 们 希望 看 看 用 两 个 高 斯 随机 变量 产生 
新 的 随机 变量 ， 它 的 概率 密度 函数 是 什么 样子 ? 为 此 , 令 筷 和 思 为 服从 正 态 分 布 NW(0, 1) 的 
独立 随机 变量 , 定义 也 Amin( 届 , 筷 ) 和 了 Amax( 了 X,Y)。 根 据 例 3.4-3@ 的 结论 , 我 们 把 
得 到 的 概率 密度 函数 和 正 态 分 布 画 在 同一 个 坐标 系 内 。 图 3.4-5 的 曲线 是 通过 Microsoft Ex- 
cel@ 软件 实现 的 。 读 者 可 能 希望 复制 这 些 曲线 。 





Q@ 在 此 不 考虑 = 8 的 情况 。 
@ 原文 为 例 3.4.5, 疑 有 误 一 译 者 注 。 
@ “Exeel 是 Microsoft Office 中 的 软件 。 关 于 Excel 的 用 法 请 参考 该 软件 的 帮助 文档 。 
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标准 正 态 和 两 个 标准 正 态 分 布 的 最 大 (小 ) 值 的 概率 密度 函数 


0.6 
0.5 ] 








-4 -3 = = 0 站 2 3 4 
变量 


图 3.4-5 min(X ，2s ) 的 概率 密度 函数 的 顶点 在 原点 左边 的 -0.5 处 , max( 了 ,XX。) 的 概率 密度 
函数 的 顶点 在 原点 右边 的 0. 5 处。 注意 到 Var[ min(X ,Xs)] =Var[ max(X,X,)] <1 


3.5 补充 例子 


为 了 让 读者 更 深入 的 理解 3.4 节 中 介绍 的 方法 , 我 们 在 此 给 出 一 些 补充 例题 。 
例 3.5-1 (幅度 和 和 角度) 考虑 如 下 的 随机 交 量 


VEgxX,Y) = VXI+Y? (3.5-1) 
arctan (¥) 大 六 0 
W = R(X,Y) = (3.5-2a) 


六 
tan | 一 ， 淮 志 0 
arc n (KX)+" 


随机 变量 人 V 称 为 幅度 或 包 络 , 玉 称 为 相位 。 写 成 式 (3.5-2a) 的 形式 , 是 因为 要 在 一 个 2m 区 间 
上 求 W 的 解 ,而 且 逆 函数 arctan(y/X) 的 值 域 为 ( -TT/2,， Tm/2)( 即 该 函数 的 主 值 ) 。 
求 下 面 方程 的 根 


arctan (2) y ws 0 
v=VX?2 + yw 一 ~ (3.5-2b) 


arctan ( ) + ™, 区 过 自 
我 们 发 现 当 vw 三 0 时 ， 有 -- 所 Ww 志 信 和 cosw > 0。 类 似 地 ， 当 2 < 8 是， 习 <W < 二 和 
cos W < 0。 因 此 式 (3.5-2b) 的 唯一 解 是 


A 
T=vVcosw = 9(v,w) 


y= vsinw 全 Vv,w) 





可 比值 了 为 
和 7 内功 _ lceosw —vsinw| 
ww) lsinw vcosw | 
根据 式 (3.4-11) 可 知 ,该 方程 的 解 为 
fvw(v,w) = vfxy (veosw,vsinw) (3.5-3) 


如 果 假 设 卫 和 了 是 独立 同 分 布 的 ,其 分 布 函 数 为 N(0, o”), 即 





fxYy (X,Yy) = 了 
Ta 


根据 式 (3.5-3) 可 知 
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—v?/20? 3 _T 37 
fvw(v,w) = (se 5 > 0， << 
0， 其 他 (3.5-4) 
= fv(v)fw(w) 
因此 , 了 V 和 了 厂 是 相互 独立 的 随机 变量 。 包 络 下 服从 瑞 利 分 布 , 相位 全 服从 2 和 区 间 上 的 均匀 
分 布 。 
例 3.5-2 (幅度 和 上 比例) 对 上 一 个 例题 进行 适当 的 改动 。 设 V4 V + 下 ,卫生 KK， 
根据 变换 g(xw， y) Vr +Y 和 h(x, y) = Y/x 可 得 下 面 的 方程 组 
v—g(z,y)=0 
wo—h(z,y) 三 人 
方程 组 具有 两 个 解 


Z1 = v(1 + w) 2, Yy1 = WT1 
Z2 一 一 V(1 十 山 2) 一 1/2， Y2 = WT2 
此 时 -o <W<%m,V >0。 当 vw <0 时 没有 实 根 。 
直接 可 以 得 出 雅 可 比值 为 | 九 1 =| J。1 = (1 + WwW)/v。 因此 可 得 
fvw(v,w) = TlfxY (zit) + fxy (22,y2)] 
其 中 fy(X,Y) 由 下 式 给 出 


fxy (zy) = za exp[- (+)/20] 


最 终 可 得 


VU 
fvw(v,w) = Fie 


= fv(v)fw(w) 
因此 ,随机 变量 了 和 了 全 是 相互 独立 的 , V 服 从 现 利 分 布 ( 同 例 3.5-1), WW 服从 柯 西 分 布 。 
例 3.5-3 (坐标 旋转 ) 设 9 为 一 个 预定 的 角度 , 试 考虑 下 面 的 旋转 变换 
VEXcos0+Ysing 
网 (3.5-5) 
WXsin0—Ycoso 
其 中 筷 和 了 是 独立 同 分 布 的 高 斯 随机 变量 


一 [(z2 十 y2)/2c2] 





fxy (7,y) = zoae 
方程 组 唯一 解 为 
v= ZTcos0+Yysing 
w= Tsin0 — ycos0 
也 就 是 


T=vVcos0+wsing 


y=vsin0— wceos0 


雅 可 比值 为 
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Or Oz 

Ov 3 cos0 sing | 
Oy Oy sing —cos0O| 
Ov Ow 


因此 有 


e—[(v ?+w?)/20°] 





1 
fvwlv, w) = 2mo2 
通过 式 (3.5-5) 的 旋转 变换 V=g( 卫 ,了 ) 和 W=h( 卫 ,了 ) 后 , 得 到 的 V 和 WW 同人 和 了 一 样 
也 是 独立 同 分布 的 高 斯 随机 变量 。 如 果 及 和 了 是 非 独立 的 高 斯 随机 变量 , 只 要 了 和 了 的 联 
合 概率 密度 函数 是 高 斯 ( 正 态 ) 的 , 那么 仍然 可 能 找到 一 个 变换 使 得 VV 和 WW 是 独立 的 高 斯 
随机 变量 。 
例 3.5-4 我 们 重新 考虑 如 何 计算 例 3.3-11 中 2 = V 宗 + 更 的 概率 密度 函数 ， 这 次 采用 
式 (3.4-11) 来 间接 计算 fs(z)。 首先 需要 注意 2Z = V 和 + 严 是 两 个 随机 变量 的 一 个 函数 ， 而 
式 (3.4-11) 针 对 的 是 两 个 随机 变量 的 两 个 函数 。 为 了 让 二 者 一 致 ， 我们 引入 一 个 辅助 变量 WW 
全 及 ,使 得 
ZEgxX,Y)= VX2 十 Y2 
WEAEn(X,Y)=X 
当 上 | w1 < zz 时 ,下面 的 方程 组 有 两 个 实 根 


z—g(z,y)=0 
w—h(z,y)=0 

分 别 为 
TX1 三 Ww， TXT2 = 二 Ww 


Wi= Vv, y=-V2—w? 
对 于 这 两 个 根 , 雅 可 比值 | 了 | 都 相同 
[|=|j2|= 


儿 


/2 — 





直接 套用 式 (3.4-11) 可 得 
faw (sw) a lxY ub) + fxy (Tz2, Yy2)] 
此 时 假设 


fxr(7z,y) = ss 人 1 
(oa 


因为 fxy(w， y) = rr( 一 2)， 可 得 
1 之 ek 
As /2 
| 这 i ? z > 0,|w| <z 


0， 其 他 
但 是 我 们 并 不 需要 .zwr(2z，W)， 只 需要 边缘 概率 密度 函数 . 户 (%) 。 为 此 ， 采 用 式 (2.6-47) 用 # 


fzw(z,w) = 





@ 参见 第 5 章 有 关 随 机 向 量 的 内 容 。 
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代替 XY, w 代替 9) ， 得 到 
fz(z) = | fzw(z,w)dw 
2 _ pi i d 
一 三 er E | | ul(z) 
其 中 ， 上 式 方 括号 里 面 的 值 为 1， 可 用 图 3. 5-1 来 进行 验证 。 令 Ww A zsing, 那么 dw = 
zcos9d9, [2 -Ww ] 2 = zcosg, 此 时 方 括号 中 的 表达 式 变 为 


9 之 2 T/2 
| Se | d0=1 
0 





因此 有 
fz(z) = 0 /ulz) 
得 到 的 结论 与 式 (3.3-33) 相 同 , 不 过 这 里 用 的 是 不 同 的 方法 。 
例 3.5-5 (和 与 差 ) 最 后 , 我 们 再 次 计算 例 3.4-1 中 的 和 与 





差 的 问题 。 
访 驴 论 汪 莹 > 过 
WExXx-Y Ee 
唯一 的 解 为 Zz2 一 w2 
v—(z+y)=0 图 3.5-1 三 角 变换 w = zsinbg 
w—(r—Yy)=0 
也 就 是 
he he 
~” 2 
也 一 
yo 





其 中 1 1 = 去。 所 以 有 

















fvw(v,w) 一 3fxy (3 3*) 
根据 概率 密度 函数 的 性 质 
fv(v) = | fvw(v,w)dw 
es 间 Vw 也 一 也 | 
=| pr 2 》 5 ) aw, zz 三 可 


= | jxyr(z,u 一 2z)dz 


上 面 这 个 关于 两 个 随机 变量 之 和 的 重要 结论 , 在 3.3 节 [ 参见 式 (3.3-12)] 中 已 经 通过 不 同 的 
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小 结 


本 章 主要 讨论 了 随机 变量 的 函数 ,该 部 分 内 容 在 科学 研究 , 工程 应 用 以 及 随机 过 程 的 学 习 
中 有 重要 的 作用 。 最 基本 的 问题 就 是 如 何 计算 系统 输出 的 概率 规律 , 其 中 浆 是 输入 的 随机 变 
量 , 了 是 输出 的 随机 变量 , 9 是 传递 函数 [也 即 是 了 = 9(X) ] 。 此 后 将 问题 扩展 到 两 个 输入 两 个 
输出 的 情况 , 其 中 了 和 了 是 输入 的 随机 变量 , V = g(X, 了 ) 和 WW = (X,Y) 是 输出 的 随机 变 
量 , g 和 刀 是 传递 函数 。 此 时 就 需要 根据 了 和 了 的 联合 概率 密度 函数 来 计算 V 和 本 的 联合 概 
率 密度 函数 。 

我 们 介绍 了 至 少 有 两 种 方法 可 以 用 来 计算 大 部 分 关于 随机 变量 的 函数 : 

1. 通过 累积 分 布 函 数 来 计算 , 即 所 谓 的 间接 法 。 

2. 通过 一 种 “转动 把 柄 "的 直接 法 。 

还 介绍 了 许多 关于 随机 变量 转换 的 问题 , 包括 计算 两 个 随机 变量 之 和 的 概率 密度 函数 ( 以 
及 累积 分 布 函数 ) 。 这 个 问题 在 科学 和 工程 上 应 用 很 广泛 ,比如 一 个 “讨厌 的 ”加 性 噪声 污染 了 
一 个 希望 得 到 的 信号 或 者 测量 。 例 如 ,所 谓 的 “信号 + 加 性 噪声 "问题 就 是 通信 工程 中 的 一 个 
非常 根本 的 问题 。 

接 下 来 ,我 们 将 两 个 独立 随机 变量 之 和 的 问题 扩展 到 n 维 的 情况 。 随 机 变量 之 和 的 累积 
分 布 函数 “看 起 来 像 " 正 态 分 布 ,从 这 点 人 手 学 习 所 谓 的 中 心 极 限定 理 ， 这 部 分 内 容 将 在 
第 4 章 讨论 。 

最 后 , 考虑 如 何 计算 两 个 有 序 随机 变量 的 累积 分 布 函数 。 对 此 我 们 可 以 采用 一 种 称 为 直 
接 法 的 方法 ,根据 其 他 随机 变量 的 分 布 来 计算 随机 变量 的 概率 分 布 。 在 第 5 章 关 于 随机 向 量 
的 内 容 , 我 们 将 要 讨论 % 个 随机 变量 的 转换 问题 。 有 序 随机 变量 体现 了 统计 学 的 一 个 分 支 ， 
即 非 参量 统计 , 这 部 分 内 容 经 常会 得 出 原始 分 布 独立 性 的 结论 。 为 此 , 有 序 随机 变量 在 某 种 程 
度 上 可 以 得 出 有 关 和 鲁 棒 性 的 表达 式 。 


习题 


( 带 * 号 的 问题 带 有 一 定 的 难度 , 需要 花 更 多 精力 对 教材 进一步 的 学 习 。) 
3.1 设 已 知 了 的 累积 分 布 函 数 为 Fx(x) ,了 = aX +b, a <0。 试 证 明 如 果 互 不 是 一 个 连续 随机 变量 , 那么 
式 (3.2-3) 应 该 修改 为 如 下 形式 : 


mw-1-m (SS ) + [r= 
=1— Fx (+r 


3.2 设 了 是 随机 变量 了 的 函数 , 表达 式 如 下 : 
入 {2 XX 二 0 








到 汪 2 其 委 必 
已 知 反 (xw) 如 下 , 求 fy(y) 的 表达 式 。 在 此 假设 : N(0, 1)。 


入 
€ 27 





fx(7) = J 
3.3 (随机 变量 的 函数 ) 设 随机 变量 卫 服 从 高 斯 分 布 W(0,25) 。 通 过 函数 g 定义 随机 变量 了 = g(x) 


3.4 


3.5 


3.6 


“3,7 


“3.8 


“3.9 


3.10 
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2x x 宇 0 
NO 全 x<0 
请 计算 了 的 概率 密度 函数 f(y) 。 
设 了 是 随机 变量 也 的 函数 , 表达 式 如 下 : 
A XX，X=0 
| <0 


已 知 fx(x) 如 下 , 求 fy(y) 的 表达 式 。 假设 X: N(0, 2)。 
A E 一 和 az 
fx(7) 一 2Vi" 
设 卫 的 概率 密度 函数 为 
fx(7) = ae “ul(z) 


试 计算 了 的 概率 密度 函数 表达 式 : (a) 了 = XX; (b)Y =2X+3。 
设 卫 是 一 个 服从 拉 普 拉 斯 分 布 的 随机 变量 , 其 概率 密度 函数 如 下 : 


fx(s) = ae 四， —o00<Zz<+oo 
令 Y = g(X), 其 中 g(:) 是 一 个 非 线性 的 饱和 限 幅 器 


一 了 去 一 1 
g(z) 全 | 7z, —l<z<+l 

十 1， Z> 十 1 
试 计算 累积 分 布 函 数 Fy(y)。 
在 医学 成 像 中 , 以 瑟 线 断层 摄影 术 为 例 , 探测 器 读数 y 和 人 体 吸收 率 x 之 间 满 足 y = e” 的 规律 。 令 
: N(j, 0 ) ,计算 了 的 概率 密度 函数 。 此 时 了 服从 对 数 正 态 分 布 。 研 究 发 现 , 正 态 分 布 的 随机 变量 
在 对 半导体 故障 率 的 数学 建 模 中 非常 有 用 。 
在 上 一 个 习题 中 , 你 发 现 如 果 且 服从 正 态 分 布 X: Nu, o”)，, 那么 Y 4 exp 头 服 从 对 数 正 态 分 布 , 其 
概率 密度 函数 如 下 : 





i “9 || 
| V2noy 202 

(a) 给 定 一 系列 的 hw 和 o 值 , 试 画 出 对 数 正 态 分 布 的 曲线 。 

(b) 服 从 对 数 正 态 分 布 的 随机 变量 Y, 试 求 它 的 累积 分 布 函数 。 请 将 解答 写成 erf 函数 的 形式 。 提 示 : 
有 两 种 可 能 的 求解 方法 。 你 可 以 尝试 对 上 面 的 密度 函数 进行 积分 , 或 者 将 这 个 问题 当成 随机 变量 
的 转换 ,直接 求 出 了 的 累积 分 布 函 数 。 

在 同 态 成 像 中 , 通过 对 图 形 函数 的 非 线性 变换 实现 图 像 增强 。 假 设 图 像 函 数 是 一 个 随机 变量 也, 增强 


后 的 图 像 了 为 Y= InX, 且 X 不 能 为 负 。 假 设 X 服 从 指数 分 布 及 (zx) = 言 e-7u(x) , 试 求 了 的 概率 密 


度 函 数 。 
假设 X: N(0, 1), 且 设 了 的 定义 如 下 , 试 计算 了 的 概率 密度 函数 。 
y— /VX, X>0 
1 0， BR 


(a) 假 设 了 : N(0, 1), 令 Y A g(X), 传递 函数 g 如 图 P3.11 所 示 , 已 知 fx(x), 请 用 间接 法 计算 
Fy(y) 和 fy(y)。(b) 请 用 式 (3.2-23) 计 算 fy(y)。 请问 在 y = 0, 1 时, 为 什么 不 能 用 式 (3.2-23) 来 计 
算 . 广 (y) ? 

设 耻 : U[0, 2] , 计算 了 = g() 的 概率 密度 函数 , 其 中 函数 g 如 图 P3. 12 所 示 。 

设 X: U[0, 2], 计算 了 = g(X) 的 概率 密度 函数 , 其 中 函数 g 如 图 P3. 13 所 示 。 
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9(X) 
1 
0 1 4 x 
图 P3.11 
gl(x) 
1 
0 1 四 小 
2 
图 P3. 12 
3.14 设 随机 变量 也 服从 高 斯 分 布 了 : N(0, 1), 其 概率 密度 函数 如 下 : 
fx(7) = 8， —00 < ZB<+00 


令 了 = g( 了 ), 其 中 g 是 一 个 非 线 性 函数 , 称 为 饱和 限 幅 器 , 其 表达 式 如 下 : 


(a) 绘 出 g(x) 的 图 像 ;(b) 计 算 F(y) ; (c) 计 算 户 (2) 并 画 出 它 的 图 像 。 


g(x) 





2 


图 P3.13 


3.15 请 计算 了 = a/X(a > 0) 的 概率 密度 函数 。 请 证 明 : 如 果 关 服从 参数 为 a 的 柯 西 分 布 , 那么 了 服从 参 
数 为 ova 的 柯 西 分 布 。 

3.16 设 YA secX, 试用 fx(Xx) 表示 fy(y)。 如 果 fx(x) 是 区 间 ( - T, wm] 上 的 均匀 分 布 , 试 求 此 时 的 f(y)。 

3. 17 ”对 于 两 个 服从 均匀 分 布 的 随机 变量 X:( -1, +1) 和 了 :( -2, +2), 当头 和 了 相互 独立 时 , 请 计算 2Z = 
XX + 了 的 概率 密度 函数 。 

3.18 设 了 和 了 是 独立 同 分 布 的 随机 变量 , 二 者 都 服从 指数 分 布 


3. 19 


3.20 
3.21 
3.22 


3.23 


“3.24 


3.25 
3.26 


3.27 
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fx(7)= fy(7) = Qe "*u(z) 
请 计算 2 A 了 -了 的 概率 密度 函数 。 
已 知 随机 变量 症 和 了 的 联合 概率 密度 函数 为 fx y*(z, y) 。 定 义 新 的 随机 变量 如 下 : 
VEX+Y 和 WE2x-Y 
(a) 试 用 联合 概率 密度 函数 的 表达 式 fy(x, V) 表示 fy w(v, Ww)。 
(b) 请 证 明 : 根据 (a) 的 结论 或 者 其 他 合理 的 结论 , 对 于 2 4 天 + 了 , 要 在 什么 条 件 下 等 式 才 可 以 成 立 ? 


十 cc 
fz(z) = | fx(T)fy(z— 7)dr 


当 fx(x) = e wu(Z) 时 , 请 再 次 求解 例 3.2-11。 

当 反 (Xx) = e™“u(x) 时 , 请 再 次 求解 例 3.2-12。 

如 果 和 希望 产生 一 组 随机 数 , 其 概率 密度 函数 如 图 P3. 22 所 示 。 我 们 唯一 可 用 的 就 是 (0, 1) 区间 上 的 
均匀 随机 数 发 生 器 , 请 问 该 如 何 处 理 ? 


fx(x) 


图 P3.22 


如 果 希 望 产生 一 组 零 均值 的 高 斯 随机 数 。 唯 一 可 用 的 仍 是 (0, 1) 区 间 上 的 均匀 随机 数 发 生 器 ,请 问 
该 如 何 处 理 ? 建议 把 12 个 均匀 分 布 的 随机 数 相 加 , 再 把 得 到 的 结果 减 去 6, 就 可 以 得 到 高 斯 分 布 随机 
数 。 请 编写 一 个 程序 产生 10 000 个 随机 数 , 并 画 出 结果 的 直方 图 。 直 方 图 是 一 种 柱状 图 , x 轴 上 有 一 
系列 的 矩形 , y 轴 表 示 落 在 这 个 矩形 范围 内 的 点 数 。 请 从 -10 ~ 10 的 区 间 上 画 200 个 矩形 , 每 个 矩形 
的 宽度 为 0.1。 请 问 在 直方 图 的 哪个 区 间 看 起 来 “最 像 " 高 斯 分 布 , 哪个 区 间 看 起 来 最 不 像 *? 同时 
请 解释 一 下 为 什么 用 这 个 方法 可 以 产生 高 斯 分 布 随机 数 ? 

一 般 而 言 , 计算 机 只 能 产生 均匀 分 布 的 随机 数 卫 : U[0, 1] 。 现 在 的 问题 是 : 如 何 对 站 进行 适当 的 变 
换 产 生 任意 分 布 的 随机 数 ? 


(a) 拉 普 拉 斯 分 布 经 常 在 图 形 处 理 问 题 中 遇 到 ， 当 概率 密度 函数 为 fy(y) = exp( -cl y1), 


-o <% <+%,c >0。 请 求 出 拉 普 拉 斯 分 布 的 累积 分 布 函 数 Fy(y), -% <Yy <+%。 
(b) 考 虑 如 下 的 变换 : 
z= g(r) = Fy!(z) 
请 用 (a) 中 得 到 的 累积 分 布 函 数 表达 式 , 其 中 Fy 表示 北 函数 。 证 明 当 立 : U[0, 1] 时 , 2Z = g(X) 
服从 参数 为 c 的 拉 普 拉 斯 分 布 。 请 注意 : 只 要 逆 函 数 存在 , 结果 并 不 依赖 于 拉 普 拉 斯 分 布 函数 。 
(c) 这 种 变换 方法 有 没有 什么 限制 条 件 ? 可 以 适用 于 混合 随机 变量 吗 ? 如 果 分 布 函数 有 平坦 区 域 可 
以 吗 ? 适用 于 离散 随机 变量 吗 ? 
计算 习题 3. 18 中 121 的 概率 密度 函数 。 
设 有 和 了 是 独立 的 连续 随机 变量 , 令 2 = min( 和 X, 了 ) , 试 计算 F(z) 和 fz(z)。 如 果 卫 和 了 的 分 布 为 
U(0, 1) , 请 绘 出 F(z) 和 . 户 (z) 的 图 像 。 当 概率 密度 函数 为 fx(X) = fy(X) = aexp[ -ax] :w(x) 
时 , 请 重复 上 面 的 计算 。 
设 Z 4 max(X ,加 ), 其 中 乱 敌 是 独立 的 指数 分 布 随机 变量 , 概率 密度 函数 为 


fx(x) = ep -二 )u(*)， i 二 1,2 
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3.29 


3.32 


3.33 


3.34 


3.35 


3.36 
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(a) 请 计算 Z 的 分 布 函数 。 
(b) 请 计算 2Z 的 概率 密度 函数 。 
对 于 个 独立 同 分 布 (i.i.d. ) 的 随机 变量 XX ,X,,…,X, ,累积 分 布 函 数 都 为 Fy.(x) A F(x) 。 设 Z 4 


max[ XX ,X,,… ,XX, ] ,请 用 F(x) 来 表示 2 的 累积 分 布 函数 。 

对 于 nn 个 独立 同 分 布 (i.i. d. ) 的 随机 变量 已 ,X,,… ,XX,, 累积 分 布防 数 都 为 Fx,(x) A F(x) 。 设 2 人 
min[ XX ,X,,…, 耻 ,] ,请 用 F(x) 来 表示 2 的 累积 分 布 函 数 。 

设 卫 ,XX ,，…,X 是 nn 个 独立 同 分 布 的 随机 变量 , 概率 密度 函数 为 fx,(X) = e“u(x)。 计算 Z， = 
max( 尺 ,Xs。，…, X, ) 的 概率 密度 函数 , 并 画 出 n=3 时 的 图 像 。 

设 卫 ,XZ,,…, ,是 nn 个 独立 同 分 布 的 随机 变量 , 概率 密度 函数 为 fx,(X) = e“u(x)。 计 算 2 = 
min(X ,XX。,…, X,) 的 概率 密度 函数 , 并 画 出 n=3 时 的 图 像 。 

设 了 和 了 是 独立 同 分 布 的 随机 变量 , 服从 U( -1, 1)。 计算 并 画 出 图 P3.31 中 2 的 概率 密度 函数 。 在 
这 里 只 能 对 正 数 进行 求 平方 根 操作 , 否则 输出 是 0。 





P3.31 求 平方 根 设备 


一 架 飞 机 可 以 飞行 的 时 间 Z 用 2 = aX 来 建 模 , 其 中 子 是 油箱 中 的 油 量 , a 是 一 个 正 的 比例 常数 。 假 
设 在 一 架 飞 机 上 有 两 个 独立 的 油箱 , 使 得 一 个 油箱 耗 尽 的 时 候 可 以 自动 启用 男 外 一 个 油箱 中 的 燃料 。 
由 于 管理 松懈 的 原因 , 使 得 飞机 起 飞 时 两 个 油箱 的 油 量 都 没有 检查 过 。 用 表示 第 一 个 油箱 中 的 油 
量 , X, 表示 第 二 个 油箱 中 的 油 量 , 且 关 和 Xs 是 独立 同 分 布 的 随机 变量 , 概率 密度 函数 为 fx, (xX) = 


fxs(X) = 二 [wu(z) -2&(z-b)]。 用 2 表示 飞机 能 够 飞行 的 最 长 时 间 , 请 计算 2 的 概率 密度 函数 。 如 


果 5=100( 单 位 : 升 ), a = 工 (单位 : 小 时 /10 升 ), 请 问 飞机 至 少 能 够 飞行 5 个 小 时 的 概率 为 多 少 ? 
设 卫 和 了 为 两 个 独立 同 分 布 的 泊 松 随机 变量 , 概率 质量 函数 为 


Px (k) = 2th) 
Py(k) = 3tu(k) 


请 计算 PLZ < 5] 的 概率 , 其 中 Z AX+ 了 (提示 : 允 ("eb = (a +5)")。 


已 知 随机 变量 了 和 了 是 独立 同 分 布 的 均匀 随机 变量 , 服从 U(0, 1) : 
(a) 定 义 随机 变量 U 和 V 如 下 , 请 计算 它们 的 联合 概率 密度 函数 fu. y 


访 寺 
A 1 
这 三 a(X —Y) 
(b) 请 画 出 fv 在 (4%, v) 平 面 上 的 支 集 。 函 数 的 支 集 是 指 该 函数 值 域 上 非 0 的 子 集 。 
设 半 和 了 是 独立 的 均匀 分 布 随机 变量 , 概率 密度 函数 分 别 为 (x) = 工 , | x1 < 1 和 所 (y) = 十， 


1 y1 < 1 。 请 计算 : (a) Z A + 了 的 概率 密度 函数 ; (b) Z A 2X -了 的 概率 密度 函数 。 
计算 联合 概率 密度 函数 fow(z, w), Z 和 W 的 定义 如 下 : 


“3.37 


3.38 


3.39 
3.40 


3.42 


3.43 
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2 人 X2 十 Y2 
W 人 会 X 
其 中 
fxY (7r,y) = et -oo <Z< oo,-oo <V< oo 
再 根据 得 到 的 结果 计算 . 户 (z) 。 
考虑 如 下 的 变换 : 
Z=aX+bY 
W=cX+dY 
设 
fxY (zx,y) = ro I e— Q(zy) 
其 中 
1 
Q(z,y) - 202(1 Le 有 [z? 207V 出 y] 
请 问 当 系数 a, b, c, a 应 该 取 什 么 值 时 , Z 和 WW 才 是 独立 的 高 斯 随机 变量 ? 
已 知 耻 和 了 的 联合 概率 密度 函数 


te "| (a ) 
计算 V 和 WW 的 联合 概率 密度 函数 fyw(v, w),V 和 WW 的 定义 如 下 : 
V=#3(X? 十 Y2) 
W = 
请 根据 式 (3. 4-11) 或 式 (3.4-12), 根据 直接 法 来 推导 式 (3. 4-4) 。 


考虑 如 下 的 变换 : 
Z=Xcos0+Ysing 


W= Xsin0—Ycos0 
请 计算 fzw(z, w) , 已 知 .Apr(z, Yy) 表达 式 如 下 : 


Da 
FA 人 
fxr(zy) = 


(可 以 把 这 个 变换 看 成 对 2Z 进行 了 + 8 的 旋转 , 而 WW 是 反方 向 的 旋转 ) 


,一 co <7T<00,—00<Yy<o 





计算 如 下 表达 式 的 联合 概率 密度 函数 : 
ZX2+Y? 
三 全 2Y 
已 知 .rr(z, y) 如 下 : 
jfxy(z;y) = 2 e-[(z?+y?)/207] 
设 fy(x,y) = A(x* + 六 ),0<x<1,1y1<1, 其 余 情 况 fry(x,y) 为 0。 请 对 所 有 的 xX 和 yy 计算 累积 


分 布 函数 Fyy(x,y) , 并 给 出 4 的 合理 取 值 。 

考虑 3.1 节 中 的 输入 -输出 问题 , 设 随 机 变量 了 是 系统 的 输入 , 系统 输出 为 Y = 9(X) 。 
(a) 了 的 定义 域 是 什么 ? 

(b) 了 和 了 合理 的 概率 空间 是 什么 ? 

(c) 请 问 RR 的 哪个 子 集 包含 事件 |Y < y} ? 

(d) 如 果 了 = 2X +3, 对 于 了 而 言 , 事件 (- % , y] 的 逆 像 是 什么 ? 
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3.44 如 图 P3. 44 所 示 的 框图 , 该 系统 把 信号 互 从 点 a 传递 到 点 b。 传 递 链 路 二 和 五 独立 运行 , 二 者 的 故 
障 时 间 分 别 为 下 和 TT 和 ZT 独立 同 分 布 , 且 服 从 参数 为 A( > 0) 的 指数 分 布 。 用 了 表示 输出 , 如 
果 了 = 0 表示 两 条 链 路 同时 出 现 故 障 。 请 计算 了 在 上 时 刻 的 累积 分 布 函数 五 (2, 1t) , 证 明 无 论 t 取 什 
么 值 , 都 有 Fy(%,t) = 1。 


Li 





2 


图 P3.44 并 行 级 联 
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第 4 童 数学 期 望 和 算 


4.1 随机 变量 的 数学 期 望 


在 许多 情况 下 ,我 们 总 是 希望 用 一 些 数字 来 归纳 一 ee 这 
些 数字 一 般 都 是 各 种 各 样 的 平均 值 , 或 者 称 为 随机 变量 的 数学 期 望 。 我 们 还 经 常用 "和 矩 ”( mo- 
ments ) 这 个 名 词 来 描述 一 大 类 的 平均 值 , 这 方面 的 内 容 将 在 后 面 讲解 。 

对 于 一 组 数字 的 平均 值 我 们 都 很 熟悉， 比如 某 次 考试 的 平均 分 , 5 岁 儿 童 的 平均 身高 和 体 
重 , 男性 和 女性 平均 寿命 等 。 一 般 而 言 , 我 们 采用 下 面 的 公式 来 计算 一 组 数字 zi， Ys。，…， XYw 
的 平均 值 


N 
2 (4.1-1) 


其 中 下 标 s 表示 ks 是 一 RE 的 平均 值 。 

一 组 数字 x , x,…, xw 的 平均 值 人 , 也 可 以 看 成 这 个 集合 的 “重心 。 更 准确 地 说 , 平均 值 
就 是 与 集合 中 所 有 数字 最 接近 的 那个 值 ， 也 就 是 它 与 集合 中 所 有 数字 的 距离 之 和 是 最 小 的 。 为 此 我 
们 需要 求 出 这 个 数值 z, 使 得 z 与 所 有 点 的 距离 之 和 了 D 或 者 距离 之 和 的 平方 六 最 小 。 也 就 是 


N 





D? 全 >_(z Zi)2 

i=1 

很 显然 , 只 有 当 dD /dz = 0 时 才 会 取 到 最 小 值 ， pet 
< 
= 一 3 zi 一 0 
可 以 得 出 
1 N 
= 元 2 


我 们 注意 到 , 在 式 (4.1-1) 中 所 有 的 数字 权重 都 相同 (也 就 是 说 , 每 个 x; 都 被 乘 以 了 一 个 相同 
的 因子 1AN) 。 如 果 出 于 某 种 原因 , 在 计算 平均 值 的 时 候 我 们 希望 有 些 数 字 的 权重 大 一 些 , 那 
么 此 时 得 到 的 就 是 加 权 平 均值 。 但 是 , 在 本 章 的 后 续 内 容 中 我 们 不 再 考虑 加 权 平 均 这 个 概念 。 

根据 式 (4. 1-1) , 可 以 得 到 一 个 集合 “最 具 代 表 性 ”的 数值 或 “重心 ”, 但 这 并 不 能 告诉 我 们 集 
合 中 的 数字 与 平均 值 偏离 或 发 散 的 程度 。 比 如 , 集合 S, = 10.9, 0.98, 0.95, 1.1, 1.02, 1.05| 
和 S。 = 10.2， -3, 1.8, 2, 4, 1} 平均 值 是 相同 的 , 但 很 显然 8 中 的 数字 比 8 中 的 数字 更 偏 
离 平均 值 。 用 来 统计 这 种 偏离 程度 的 平均 值 就 称 为 集合 的 标准 偏差 , 用 o, 来 表示 , 计算 公式 
如 下 : 


Os 二 


1 区 1/2 
二 n= | (4.1-2) 


i=1 





式 (4.1-1) 和 式 (4.1-2) 虽 然 很 重要 , 但 它们 并 没有 很 好 地 揭示 平均 值 的 巨大 价值 。 为 了 充分 
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利用 平均 值 的 有 关 特 性 , 有 必要 推导 一 种 根据 概率 论 来 计算 平均 值 的 方法 。 

考虑 一 个 概率 空间 (0, 多 已 ) , 以 及 相关 的 实验 .多 和 离散 随机 变量 刁 。 对 于 . 获 的 每 个 输 
出 如; 对 应 一 个 数值 和 和) 人 zx;, 也 就 是 随机 变量 的 可 能 取 值 。 设 x, x。,…, ww 表示 立 的 
M 个 不 同 的 取 值 。 在 此 假设 实验 .多 被 重复 了 六 次 , 设 x” 是 第 次 实验 观测 到 的 输出 , 而 且 
x 一定 是 zi, xs，…, wy 中 的 一 个 数值 。 假 设 在 这 次 实验 中 , zw 发 生 了 7 次 ,za 发 生 了 
no 次 ,以 此 类 推 。 当 N 越 来 越 大 时 , 我 们 可 以 就 用 下 面 的 公式 来 计算 习 的 平均 值 x 


N 


i .(k) 
X 六 > 

| 尖 (4.1-3) 

名 NO 
M i 

~ > (¥) (4.1-4) 
M 

~ > TiPLX = zj (4.1-5) 


例 4.1-1 ( 灌 铅 的 朋 子 ) 我 们 将 一 个 灌 铅 的 蜗 子 投 搬 了 17 次。 其 中 NN=17, M =6( 表 示 
这 是 6 个 面 的 蜗 子 ) 。 观 测 到 的 结果 是 11,3,3,1,2,1,3,2,1,1,2,4,1,1,5,3,6|。 令 
P[i] 表示 观测 到 数字 1 的 概率 ， 那 么 通过 上 面 的 观测 结果 可 得 

PI] 37/17; P[2] = 3/17; P[3] © 4/17; P[4] O21/17; P[5] © 1/17; P[6] = 1/17 

通过 这 种 方法 来 估计 “真实 的 ”概率 非常 不 可 靠 。 为 了 得 到 可 靠 的 数据 , 不 得 不 拼命 增加 投掷 
的 次 数 。 我 们 可 能 会 问 : 到 底 “ 真 实 的 ”概率 是 什么 ? 一 种 想法 认为 必须 通过 实验 来 确定 概率 ， 
因为 概率 就 好 像 一 个 自然 规律 一 样 根植 在 这 个 肿 子 中 。 另 外 一 种 想法 认为 当 WN 为 任意 大 的 取 
值 时 ， 真 实 的 概率 就 是 比值 忆 [i] = n;/N。 何谓 “任意 大 ”? 对 于 任意 一 个 有 限 值 N, 当 N 变 大 
时 得 到 的 概率 估计 值 总 是 变化 的 。 这 个 环 手 的 问题 将 会 用 统计 的 方法 来 很 好 解决 ， 这 方面 的 
详细 内 容 详 见 第 6 章 和 第 7 章 。 

式 (4.1-5) 从 频率 的 角度 给 出 了 概率 的 定义 ,下 面 将 给 出 第 一 个 定义 。 

定义 4.1-1 随机 变量 及 的 概率 质量 函数 为 Px(X;), XY; 是 所 有 可 能 的 取 值 ， 则 互 的 数学 
期 望 (平均 值 ) 的 定义 如 下 : 

BEIX] 全 ziPx(zi) (4. 1-6) 


从 上 式 可 见 , 数学 期 望 是 在 随机 变量 产生 的 概率 空间 中 计算 出 来 的 。 我 们 也 可 以 把 离散 样本 


空间 中 的 所 有 点 都 累加 起 来 计算 数学 期 望 , 即 B[X] = 2 X(6i;)PL17;| ] ,其 中 Z 是 样本 空 
间 CQ 中 的 离散 输出 点 。 

下 面 将 要 给 出 的 定义 , 对 于 连续 和 离散 的 随机 变量 都 适用 。 

定义 4.1-2 概率 密度 函数 为 fy(X) 的 实 随 机 变量 卫 ， 如 果 它 的 数学 期 望 (或 平均 值 ) 存 
在 DO, 那么 定义 如 下 : 





@ 数学 期 望 存在 是 指 在 积分 区 间 上 绝对 可 积 , 即 | 1 x1 f(z)dz < =。 
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E[X| = | rfx(r) dr (4.1-7) 


同 定义 4.1-1 类 似 , 数学 期 望 可 在 原始 概率 空间 中 计算 得 到 。 如 果 样本 描述 空间 不 是 离散 的 而 
是 连续 的 , 例如 一 条 实数 直线 , 这 是 一 个 不 可 数 的 无 限 集合 , 此 时 B[X] = | X(2)P[ 1ae|]， 


其 中 PL | qt} 表示 无 限 小 事件 15 < < + de| 发 生 的 概率 。 
常用 符号 妞 [了 ] , 生 , wx 或 风 来 表示 瑟 的 数学 期 望 。 对 于 一 个 随机 变量 的 方程 了 = g(X)， 
根据 式 (4.1-7) ,了 的 数学 期 望 为 


五 [站 = | yfy(y)dy (4. 1-8) 


可 是 , 式 (4. 1-8) 需 要 事先 用 . 产 (Z) 计算 出 . 户 (y) 。 如 果 我 们 只 需 计算 数学 期 望 瑟 [ 玉 ， 有 没有 
可 能 不 用 先 计算 出 fy(y) ? 定理 4. 1-1 将 回答 这 个 问题 。 


定理 4.1-1 了 =9(X) 的 数学 期 望 可 由 如 下 公式 计算 得 到 : 
ElY|] = | g(z)fx(z) dr (4. 1-9) 


其 中 g 是 一 个 可 测 (Borel) 函数 中 。 式 (4. 1-9) 是 概率 论 中 非常 重要 的 一 个 结论 。 对 式 (4. 1-9 ) 的 
严格 证 明 需 要 用 到 勒 贝 格 积分 的 知识 , 在 此 我 们 用 一 个 非 正 式 的 自 变 量 来 证 明 式 (4.1-9)@。 


证 明 式 (4.1-9)® 
根据 3.2 节 中 的 结论 , 如 果 了 = 9(X) , 那么 对 于 任意 的 都 有 (参见 图 4. 1-1) 


{ <Y < y+ Ay} = U{z® < 生生 xz 六 十 Az 和 (4. 1-10) 
k=1 
其 中 六 是 方程 y; - g(x) = 0 的 实 根 个 数 , 也 就 是 
六 三 g(z0)) a g(xW")) (4.1-11) 


式 (4.1-10) 中 的 等 号 表示 对 于 映射 和 了 , 基本 事件 都 是 相同 的 。 因 此 , 等 号 两 边 事件 的 概率 
都 是 相同 的 。 式 (4.1-10) 中 等 号 右边 的 事件 是 不 相交 的 , 而 且 并 集 的 概率 就 是 所 有 独立 事件 
概率 之 和 。 把 y 轴 划 分 为 许多 子 区 间 外，ys。，…, Yj,，…, 根据 式 (2. 4-6) 以 及 黎 曼 ( Rie- 
mann)@ 求 和 , 可 将 式 (4.1-8) 近 似 写 为 @ 


ElY] = 上 yfy(y)dy 


TY yiPly; <Y < y+ Ayjl (4.1-12) 


m 
k) (Kk (Kk) (k) 
一 》 g(r PE < Dy + Ag 





可 测 方程 的 定义 参见 本 书 3.1 节 。 

参见 Feller[4 -1, p.5] , 或 者 Davenport[4 -2, p.223 |]。 

原文 此 处 是 式 (4. 1-8), 明显 有 误 一 一 译 者 注 。 

Bernhard Riemann(1826-1866 ) ,德国 数学 家 , 在 积分 理论 方面 做 出 了 巨大 贡献 。 
自 变量 的 定义 参见 Papoulis[4 -3, p. 141 1] 。 
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其 中 , 式 (4.1-12) 最 后 一 行 的 推导 利用 了 式 (4.1-10) 和 式 (4.1-11)。 由 于 x 都 是 不 同 的 , 因 
此 完全 可 以 只 用 i 来 区 分 , 而 没 必 要 用 7 和 %& 两 个 标记 索引 。 此 时 , 式 (4.1-12) 可 以 写 为 


ElY|N Dg(zi) Plz: <X<7Ti+Ari 
i=1 


当 Ay, Ax 一 0 时 , 可 得 到 精确 的 解 
ElY] = | g(z)fx (rz) dr (4.1-13) 


式 (4.1-13) 用 到 了 黎 曼 近似 求 和 以 及 式 (2.4-6) , x; 按照 从 小 到 大 的 顺序 , x，< za < Za < …。 
对 于 也是 离散 随机 变量 的 这 种 特例 
El[Y] = 2 9(zi) Px (zi) (4.1-14) 


根据 式 (4.1-13) 就 可 以 得 到 这 个 结果 , 这 是 因为 离散 随机 变量 的 概率 密度 函数 由 一 系列 的 
6 函数 组 成 , 具体 性 质 可 以 参考 附录 B 中 的 式 (B.3-1) 。 





X 


Xi 人 Xt) 村 改 六 x -| A x 条 人) x 入 +A 和 人 
图 4.1-1 式 (4.1-10) 中 事件 的 等 价 性 


例 4.1-2 (高 斯 分 布 的 数学 期 望 ) 设 卫 : N(h, 0 ), 读 为 “及 服从 参数 为 上 和 or 的 正 态 分 
布 "。 了 及 的 数学 期 望 (均值 ) 如 下 : 
E[X| = | 化 (总 = (3 (5S) )) dz 
i V2mo2 2 o 
设 z A (ww 一 几 )/g，, 可 得 
E[X] = | ze dz+h ( 斋 | ed) 
V2m J_w Vm 上 am 
由 于 奇 对 称 ， 第 一 项 积分 结果 为 0; 第 二 项 积分 结果 为 几 , 这 是 因为 当 2Z: N(0, 1) 时 ， 括 号 中 
的 P[2Z < %] 是 一 个 必然 事件 。 因 此 有 
E[X] = 4, X:N(p,0’) 
因此 , N(jw, o*) 中 的 参数 几 其 实 就 是 不 的 数学 期 望 或 均值 ,与 2.4 节 得 到 的 结果 是 一 致 的 。 
例 4.1-3 ( 伯 努 利 随 机 变量 的 数学 期 望 ) 设 随机 变量 如 服 从 伯 努 利 分布 , 取 值 为 1 的 概 
率 为 p, 取 值 为 0 的 概率 为 9 =1 -D。 概 率 质量 函数 如 下 : 
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到 三 壮 
Pp(k) = 9d， k=0 
， 其 他 
那么 数学 期 望 由 如 下 计算 可 得 
十 co 
BEIB]= >》 kPp(k) 
bb 一 一 co 
= 一 1D2 十 0 
= 


例 4.1-4 (三 项 分 布 随机 变量 的 数学 期 望 ) 设 随机 变量 玉 服 从 二 项 分 布 ,概率 质量 函数 
为 Px(k) = b(k; n, Pp)，, 数学 期 望 可 由 下 式 计算 : 


E[K] = D3 kPr(k 





2l 斋 二 
= 天 入 i Dr 0 DJ 





ll 


nl 上 十 1 —k’—1 = 
rp ， k' 全 kl 


0 
-wD mm oi Pre 中 和 | 


二 mp， 括号 中 的 求 和 值 为 Man- 1,p)=1 
k=0 

例 4.1-5 (更 多 关于 复式 彩票 的 问题 ) 在 此 我 们 继续 讨论 第 1 章 的 例 1.9-6, 看 看 到 底 是 
一 次 买 50 张 彩票 好 , 还 是 每 次 只 买 一 张 彩票 , 连续 买 50 次 好 ，, 其 中 每 张 彩票 的 中 奖 概率 是 一 
样 的 且 相 互 独立 。 现 在 我 们 关心 的 是 每 次 投注 中 平均 或 期 望 的 收益 是 多 少 ? 在 每 次 投注 中 ， 
有 100 张 面值 1 美元 的 彩票 ,对 于 获胜 者 而 言 公平 的 回报 是 100 美元 。 对 于 单 次 投注 , 获奖 的 
概率 是 50% ,所 以 预期 收益 就 是 50 美元 。 对 于 投注 50 次 的 情况 ,获胜 的 次 数 开 服从 二 项 分 
布 b(k; 50, 0.01), 所 以 下 的 平均 值 为 EB[K] = np = 50 x0.01 =0.5。 因为 总 的 收益 为 100K 
美元 。 所 以 平均 收益 为 50 美元 , 这 与 一 次 买 50 张 彩票 的 情况 一 样 。 

例 4.1-6 ( 泊 松 分 布 的 数学 期 望 ) 设 尺 是 一 个 服从 泊 松 分 布 的 随机 变量 , 参数 a > 0， 


Z 写 


可 行 
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Co e 一 4 二 
一 Q a 
上 (k= 1)! (4.1-15) 





因此 ， 泊 松 随 机 变量 的 数学 期 望 就 是 其 参数 a。 
数学 期 望 的 线性 特性 ”如 果 把 取 数 学 期 望 户 看 成 一 个 运算 符 , 那么 很 显然 这 是 一 个 线性 
运算 符 。 对 于 任意 一 个 了 有 


N 十 co N 
E > st =| ( 9) fx(z)dz (4.1-16) 
i=1 到 \i=1 
六 十 oo 
=5 | gx) (4.1-17) 
3 
N 
= > Elg:(X))] (4. 1-18) 


从 上 式 结论 可 看 出 这 种 线性 特性 。 此 外 对 于 两 个 随机 变量 之 和 , 数学 期 望 运算 符 巨 也 是 线 
性 的 


十 oo 十 co 
五 X 十 下 = | | (T+Yfx,Y (TY drdy 
一 Do 一 Co 
十 co 『 十 co 十 co 下 十 oo 
| | Tfx,y(T,Yy)drdy 十 | | yfx,y (rz,y)drdy 
一 Oo eg 一 Do 一 9 


= | 工 (| xrldy] dz 十 hi y 4 贱 fx,r (z, War) dy 


十 oo 十 co 
=| zaz+ | wm 
= E[X] + E[Y] 
读者 将 会 注意 到 , 这 个 结论 还 可 以 拓展 到 N 个 随机 变量 ,Xs。,…, Xw 之 和 的 情况 , 也 就 是 
N N 
E > x| = 》 已 [Xi (4. 1-19) 
4s=1 
需要 注意 的 是 , 这 个 结论 并 不 要 求 随机 变量 是 相互 独立 的 。 对 于 上 面 提 到 的 两 个 线性 性 质 , 我 
们 可 以 归纳 为 : 数学 期 望 运算 符 妃 满足 随机 变量 的 加 法 分 配 律 。 


例 4.1-7 (高 斯 分 布 的 方差 ) 设 及 : N( 凡 , 0 ) 是 均值 为 几 的 随机 变量 ,利用 数学 期 望 运 
算 的 线性 特性 , 方差 为 E[(X -1)*] = E[X* -2X +] = E[X] -1 = Var[X] 
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于 95 下 _(z 一 1002 
€ 202 ‘dz 





yy 2TO 





十 coe 2 
_ | z2e- 气 dz 其 中 需要 代入 z 会 (1 一)/o 


接 下 来 , 利用 分 部 积分 法 ,， 设 从 = 2z, dv = ze 一 Fdz, 可 得 du = dz, v = e 一 ,因此 上 述 积 分 表 


达 式 可 写 为 
十 eg .2 .2 十 co 2 
| z2e Tdz= (-ze- 三 ) | 十 | e dz 
L680 一 co 


=—0+0+ V2m 
ep esa A 1) 在 整个 区 间 的 积分 为 1, 可 求 出 最 后 一 项 的 积分 结果 EB[ (和 -1)*] = 


-后 V2m = 0 。 因此 对 于 均值 为 凡 的 高 斯 随机 变量 怀 , 分布 函数 中 的 参数 g? 就 是 不 的 方差 。 
T 


至 此 , 根据 高 斯 密度 函数 的 定义 , 第 2 章 中 介绍 的 那些 参数 其 实 是 高 斯 分 布 的 数学 期 望 和 
方差 。 在 实际 操作 中 , 一 般 是 通过 对 进行 大 量 的 独立 观测 来 估计 这 两 个 基本 参量 , 对 均值 
的 估计 要 用 到 式 (4.1-1), 对 ez 的 估计 要 用 到 式 (4. 1-2) 。 


例 4.1-8 ( 柯 西 分 布 的 数学 期 望 ) wa&(-m <a <%m) 和 pB(B >0) 是 柯 西 分 布 概率 密度 函 
数 的 两 个 参量 , 定义 如 下 : 


1 
一 Do < 了 < oo 


fx(7) = a 
a (+ ] (4. 1-20) 


设 忆 服从 柯 西 分 布 , 且 B = 1, a = 0。 那么 有 


本 1 
本 | "(te | 
上 式 是 一 个 广义 积分 , 在 一 般 情况 下 是 不 收 化 的 。 但 是 ， 如果 在 柯 西 主 值 意义 下 计算 积分 ， 


可 得 











, To ht 
EI[IX] 一 im | (5 dz (4. 1-21 ) 
可 得 加 [XX] = 0。 此 外 ,如 果 定义 卫生 素 ，, 那 么 妃 [ 了 ] 无 论 如 何 都 是 不 存在 的 ， 因 为 
Ee 1 
ElY] = | 2 Ee 四 | dz = oo (4. 1-22) 


这 表示 在 任何 情况 下 都 不 收 健 。 因 此 ,， 柯 西 分 布 随机 变量 的 方差 是 无 穷 大 。 
随机 变量 函数 的 数学 期 望 已 知 Z = 9(X, 了 ) 是 两 个 随机 变量 的 函数 ,2 的 数学 期 望 计 
算 如 下 : 


五 [2F] = | zfz(z)dz 
es (4. 1-23) 
一 | g(zT,Yy)fxy (ry) dr dy 


为 了 证 明 式 (4.1-23) 可 以 用 来 计算 五 [2] , 我 们 需要 用 到 一 个 自 变量 , 这 与 建立 式 (4. 1-9) 类 
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似 。 实 际 上 , 可 以 按照 式 (4. 1-10) 的 思路 来 进行 证 明 
N; 
{2 <Z<%+Az} = (J{(X,Y) e D:} 
k=1 


其 中 Di 是 包含 点 (ZE ， yx? ) 的 一 系列 不 相交 的 小 区 域 , 即 g(x yW) = zj。 同时 计算 两 边 
的 概率 , 且 利 用 D; 是 不 相交 的 ,可 得 


fz(zj)Azi ~ > 党 
其 中 AaW 表示 一 个 无 限 小 的 区 域 。 加 
等 号 两 边 同时 乘 以 z， 且 利 用 名 = p(k， g 包 ) 可 得 
zjfz(2)Azi ~ 5 oa, yt) fy (2b, yp )Aag) 
当 j— % , Az; 一 0， Aao) 一 da = Pa 时 ,可 得 
| zfz(z)dz = | | gz,V)Jxy(z,y) dr dy 
这 里 也 给 出 另外 一 种 证 明 方法 0。 设 2 = g(X, 了 ) , 可 得 
五 [2GF] = | zfz(z)dz 
-| | sary ave 
根据 边缘 概率 密度 函数 的 定义 可 以 写 出 上 面 第 二 行 的 表达 式 。 再 次 利用 2Z = g(X) 可 得 
| :zaou= | smmeou 


我 们 可 以 利用 上 面 的 结论 来 进行 证 明 。 如 果 固 定 了 的 取 值 为 Y=y, 函数 9(X, y) 只 跟 XX 的 取 
值 有 关 , 那么 了 上 = 时 z 的 条 件数 学 期 望 为 


| za | Ms fet 
利用 上 面 得 到 的 结论 , 可 以 推导 出 

z 四 = | zfz(e)de 
Ce zfzly (z|y) 4:) fy(y)dy 


(x,y)fxly (Tly)fy (vy) dr dy 


1 


-=| 
| 
=| P， g(z,y)fxy (Tr,Yy) dr dy 


De 


证 毕 。 





四 Car W. Helstrom, Probability and Stochastic Processes for Engineers, 2nd edition. New York, Macmillan, 1991. 
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例 4.1-9 (独立 随机 变量 乘积 的 数学 期 望 ) 设 g(Z, V) = xy, 计算 BL2Z], 其 中 2Z = g(X, 了 )， 
五 和 了 服从 正 态 分 布 且 相互 独立 





fxY(z, y) = 7 exp | 3 ((z Wa 下 (vy Sr mm) 


解 可 将 双重 积分 写 为 两 个 积分 相 乘 的 形式 ， 直 接 代 入 式 (4.1-23) 可 得 





五 [3] = | ze -a -wo dz 


1 oOo 
5 | vem |- 志 6 一 mo dy 
= Kaklp 
式 (4.1-23) 可 以 用 来 计算 BLX] 或 者 BLY]。 对 于 2Z = 9(X, 了) = XX, 可 得 
E[X] = | | TfxYy(z,y) dr dy 
= 上 | fxv(e, ay| Tdr 


根据 式 (2.6-47), 方 括号 里 面 的 积分 表达 式 其 实 是 边缘 密度 函数 fx(xX)。 因 此 , 式 (4.1-23) 与 
下 面 的 定义 是 完全 一 致 的 


(4.1-24) 


E[X] 全 E rfx(r)dz 


根据 边缘 密度 的 定义 可 得 


E[X+Y]= | | (T+Yy)fxy(r,y)drdy 


一 Do J—00 


= |- 了 (人 fxY (7, wey) dz 十 人 y (| fxy(z， war) dy ey 


= E[X] + E[Y] 
式 (4.1-24) 可 以 拓展 到 N 个 随机 变量 已 ， Xs。,…, Xn, 也 就 是 


N N 
a [> -D0 (4. 1-26) 
【 t=1 


注意 到 这 里 并 不 要 求 随机 变量 是 相互 独立 的 。 
例 4.1-10 (独立 的 高 斯 随机 变量 ) 设 尽 , 了 为 独立 的 高 斯 随机 变量 ， 且 联合 概率 密度 函 


数 为 
1 1 TH y—H2 : 
fv(m WD) = a 2 ( Ol ) +( O02 ) 
因为 全 和 了 是 相互 独立 的 , 因此 fxy(X,Y) =fx(X)fy(y)。 利 用 式 (2.6-44) 和 式 (2.6-47) 可 计 


算出 边缘 概率 密度 函数 
i 1 a 下 [| 
2mo3 2 Oo1 
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利用 式 (4. 1-24) 可 得 
ElX+Y]=W1+k 


例 4.1-11 (Chi 平方 定律 ) 在 许多 科学 和 工程 实践 中 , 信号 相 加 具有 无 序 性 ， 意思 是 信 
号 之 和 的 功率 与 各 个 分 信号 的 功率 之 和 是 相同 的 。 比 如 在 光学 中 ,一 个 表面 被 不 同 波 长 的 光 
源 照 射 ， 对 该 表面 接收 到 的 功率 进行 测量 , 测量 结果 与 各 个 分 光源 的 功率 之 和 是 相同 的 。 在 电 
路 中 , 当 电源 是 由 不 同 频率 的 正弦 波 组 成 , 在 任何 一 个 电阻 上 耗 散 的 功率 等 于 各 个 分 频率 的 功 
率 之 和 。 假 设 在 一 个 特定 的 时 刻 ， 用 独立 同 分 布 的 高 斯 随机 变量 来 对 这 些 相互 独立 的 信号 源 
建 模 。 用 已 ， 和 ，…， 忆 ,来 表示 由 见 个 信号 源 产生 的 即 个 独立 信号 。 且 忆 : N(0,1),i=1， 
2,…, Nn, 设 了 = 下 。 根据 第 3 章 的 式 (3.2-2) 可 知 , 了,; 的 概率 密度 函数 为 

1 


fy;(y) = J 
对 于 Zo = 了 + 了 ,2 = 了 +Y+ 了 W,…,Z， = 了 ,8 了 i, 可 通过 卷 积 来 轻松 计算 2, 的 概率 
密度 函数 


ey/2u(y) 











Ee 1 
fz22(2) = | eul?) x ue — Xx)dr 
一 Coc J 
下 二 Ve dy 
= 2 | 3u(2) 
0 z—Yy 


令 w = 咏 可 以 推导 出 上 式 的 第 1 行 到 第 2 行 。 对 于 第 2 行 到 第 3 行 , 这 其 实 就 是 一 个 三 角子 
数 的 积分 。 为 计算 Z, 的 概率 密度 函数 , 我 们 只 需 将 Z。 和 了 了 的 概率 密度 函数 卷 积 即 可 。 





1 [~ 2/2 1 —(2—z) 
(| 6 UT) X 一 一 -6 2 u(z— 27)dr 
一 -ev 


我 们 将 推导 的 中 间 过 程 留 给 读者 , 这 只 涉及 一 些 基 本 的 变换 。 采 用 相同 的 方法 ,或 者 数学 归纳 
法 , 我 们 可 以 求 出 一 般 表达 式 如 下 : 


所 ( 动 二 二 e 一 2z/2uw(2) 
在 第 2 章 介 绍 过 这 个 概率 密度 函数 ， 当 时 称 为 Chi 平方 分 布 的 概率 密度 函数 。 更 准确 的 说 法 应 该 
是 “具有 nh 个 自由 度 的 Chi 平方 分 布 的 概率 密度 函数 ”"。 当 nn > 2 时 ,概率 密度 函数 在 2 = 0 处 取 
值 为 0, 然后 到 达 顶 点 ,随后 呈现 为 一 个 单调 递减 的 “尾巴 ”"。 当 n 取 值 较 大 时 ，, 变 得 非常 相似 
于 高 斯 概率 密度 函数 ,而 且 均 值 约 等 于 nn。 但 是 ，Chi 平方 分 布 是 不 可 能 完全 变 为 高 斯 分 布 
的 ,因为 Chi 分 布 的 随机 变量 不 可 能 取 负 值 。 图 4.1-2 给 出 了 nn 取 不 同 值 时 Chi 平方 分 布 的 一 
些 概率 密度 函数 。 
可 根据 定义 ZA 久 ，, 下 来 计算 Chi 平方 分 布 随机 变量 的 均值 和 方差 。 其 中 本 [2 ] = 
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n 


E[ 3 ,MR] 二 E[Xi] = No 同样 地 ， Var( 2Z,) 三 E[ (2Z, -7)]。 经 过 化 简 可 得 


i=1 


Var(2,) =B[ 人 ZRH] 一 Ww, 根据 EB[] =2n+n*, 因此 有 Var(2,) =2n, 最 后 的 推导 留 给 读者 。 


n= 30, 40, 50 的 Chi 平方 分 布 





9 10 20 30 40 50 60 70 80 90 100 
变量 值 
图 4.1-2 n=30( 实 线 ), n =40( 虚 线 ), n =50( 星 形 线 ) 时 的 Chi 分 布 概率 密度 函数 图 形 。 当 n 取 值 较 
大 时 ,Chi 分 布 的 概率 密度 函数 可 用 一 个 服从 N(n,2n) 的 正 态 分 布 曲 线 来 近似 ,而 且 在 均值 附 
近 取 值 的 概率 非常 大 。 例 如 ,对 于 n =30, 可 假设 X:N(30,60),P[j-o<X<u+o] = 
0. 6827。 如 果 采 用 单 精度 算法 ,根据 Chi 平 方 分 布 的 概率 密度 直接 计算 出 来 的 结果 是 0. 6892 
例 4.1-12 在 著名 的 了 大 学 , 校方 要 求 每 个 教授 都 配备 一 个 电子 花 名 册 (Rolodex)，, 这 
个 花 名 册 可 以 存储 班 上 所 有 学 生 的 名 字 。 如 果 教 授 想 抽 点 一 个 学 生 , 她 只 需要 点 击 这 个 花 名 
册 上 的 “呼叫 ”按钮 ， 这 个 时 候 花 名 册 中 的 电路 就 会 随机 选择 一 个 学 生 的 名 字 出 来 。 通 过 使 用 
设备 ,教授 就 可 以 完全 不 受 影响 地 选择 学 生出 来 回答 她 的 问题 。 用 个 来 表示 平均 呼叫 的 次 数 ， 
请 问 7 是 多 少时 才能 保证 每 个 学 生 至 少 被 呼叫 到 一 次 ? 
解 ” 使 用 电子 花 名 册 ， 意味 着 有 的 学 生 一 学 期 下 来 可 能 都 不 会 被 呼叫 到 一 次 , 而 有 的 学 
生 可 能 会 被 连续 呼叫 到 两 次 或 三 次 。 这 取决 于 这 个 班级 到 底 有 多 大 。 不 过 平均 而 言 , 一 个 或 
多 个 学 生 没有 被 呼叫 到 的 情况 是 非常 罕见 的 。 细 心 的 读者 可 能 会 注意 到 : 如 果 我 们 把 呼叫 看 
成 小 球 ， 把 学 生 看 成 球 洞 , 这 其 实 就 是 一 个 球 进 洞 的 问题 。 设 RRe [n,n+1, n+2,…| 表示 
一 次 性 把 员 个 洞 都 填 满 的 球 的 个 数 。 这 件 事 能 发 生 的 可 能 就 是 : 前 面 尽 -1 个 球 把 nl 一 1 个 洞 
填 满 (事件 | ) , 第 尺 个 球 把 剩余 的 那个 洞 填 满 (事件 百 ) 。 对 应 到 班级 点 名 , 意味 着 经 过 RR 一 1 
次 呼叫 后 , 除了 一 名 学 生 以 外 都 被 呼叫 到 了 (事件 马 \), 然后 剩 下 的 这 个 学 生 将 在 第 民 次 呼叫 
中 被 抽 中 (事件 EB,)。P[R =7,n] A Pr(7, n) = P[ EE, | PL[E, J]PLE, |] 9 其 中 丁 , 和 五 。 是 
独立 的 。 此 时 有 P[E,] = 1/n, 这 表示 事先 指定 的 一 个 球 进 入 一 个 特定 洞 的 概率 ,根据 
式 (1.8-13) P[E] 表示 已 (7 -1 工 n), 即 


n n-1/n i BN 
Pi(r—1,n)= ] 水 (—1) (1— 3 。 


二 0， 其 他 





Pn(7, nn) 的 表达 式 为 
#1 fh i+1\"™ 
{05 Ro) = ee (%) (=1) @ a ) 人 (4. 1-27) 
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概率 值 Pk(k, n) 表示 : 个 球 进 洞 后 (个 学 生 被 呼叫 到 )， 所 有 的 nl 个 洞 (学 生 ) 都 被 填 满 
(呼叫 到 ) 的 概率 ， 根据 式 (1.8-9) 有 


nn 1 ; 
Pr 本 = 二 (7 ) (1-3) ts (4.1-28) 


= 0, 其 他 
最 后 , 给 出 随机 变量 忆 的 数学 期 望 表 达 式 


ER=> LE (7 (1 @ -二 ') ) (4. 1-29) 


例 4.1-13 编写 一 个 MATLAB 程序 求解 例 4.1-12, 计算 通过 电子 花 名 册 点 名 , 保证 每 个 
学 生 都 至 少 被 抽 中 一 次 需要 的 呼叫 次 数 7。 假 设 这 个 班 上 有 20 个 学 生 。 
解 ” 式 (4.1-28) 需 要 通过 编程 来 实现 。 结 果 如 图 4.1-3 所 示 。 
班级 中 20 个 学 生 在 /次 呼叫 中 全 部 被 呼叫 到 的 概率 
1 一 一 一 





日 0.2 


0 A 
0 20 40 60 80 100 120 140 160 180 200 
呼叫 次 数 


4.1-3 例 4.1-13 的 MATLAB 结果 


function [tries,prob]=occupancy(balls,cells) 
tries=1:balls; % identifies a Vector ‘‘tries’’ 
prob=zeros(1,balls); % identifies a vector ‘“‘prob’’ 
=zZzeros(1,cells); % identifies a vector ‘‘a’’ 
d=zeros(1,cells); % identifies a vector ‘‘d’’ 


term=zeros(1,cells); % identifies a Vector ‘‘term’’ 
% next follows the realization of Equation (4.1-27) 
for m=1:balls 


for k=i:cells 
a(k)=(-1)“k)*prod(1:cells)/(prod(1:k)*prod(1:cells-k)); 
d(k)=(1-(k/cells)) “nm; 
term(k)=a(k)*d(k) ; 
end 
prob(m)=1+sum(term); 
end 
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plot (tries,prob) 

title([‘Probability of all ， num2str(cells) ’ students in the class 
being called in r tries’]) 
xlabel(‘number of tries’) 
ylabel([‘Probability of all ’ num2str(cells) ’ students being called’]) 


例 4.1-14 编写 一 个 MATLAB 程序 来 计算 平均 需要 呼叫 多 少 次 ， 才 能 保证 每 个 学 生 至 少 


被 抽 中 一 次 。 假 设 最 多 有 50 个 学 生 , 而且 要 确保 呼叫 的 次 数 足够 大 (n 三 400)。 
解 ” 式 (4.1-29) 需 要 通过 编程 来 实现 。 结 果 如 图 4.1-4 所 示 。 


全 班 每 个 学 生 至 少 被 呼叫 到 一 次 的 平均 呼叫 次 数 


250 


平均 呼叫 次 数 
3 


a 
© 





0 5 10 15 20 25 30 35 40 45 50 
班级 中 的 学 生 人 数 


图 4.1-4 例 4.1-14 的 MATLAB 结果 


function [cellvec,avevec]=avertries(ballimit,cellimit); 
cellvec = 1i:cellimit; 
termvec = Zeros(1,ballimit); 
avevec = Zeros(1,cellimit); 
brterm=zeros(1,ballimit); 
srterm=zeros(1,ballimit); 
for n=1:cellimit; 
a = Zer05 ( 工 , 卫 ) ; 
d = .Zerog (二 了 ) ; 
termvec = Zeros(1,n); 
for r=1:ballimit 
for i=1:n-1 
a(i) = ((-1)~i)*prod(1:n-1)/(prod(1:i)*prod(1:n-1-i)); 
d(i) (1=((i=D/n)) (r=1); 
termvec(i) = a(i)*d(i); 
end 
brterm(r)=r*sum(termvec); 
lrterm(r)=r*((1-(1/n)))“(r-1); 
end 
avevec(n)=sum(brterm)+sum(lrterm); 
end 
plot(cellvec,avec,'o’) 
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title(‘Average number of Rolodex tries to call all students at least 
once’) 
xlabel(‘number of students in the class’) 
ylabel(‘Expected number of Rolodex tries to reach all students at least 
once’) 
grid 
例 4.1-15 (几何 分 布 ) 随 机 变量 素 服 从 几何 分 布 ， 其 概率 质量 函数 为 
Px(n) = (1— a)a"u(n) 


其 中 公 表 示 单 位 阶 跃 函数 D， 且 0 < a < 1。 根据 等 比 数列 求 和 ”a” = (1-ad) ,0 <a<1， 
易 知 了 ”Px(n) = 1。 数 学 期 望 为 


a 
1-a 


EILX| = = 0 Dn 一 (1 一 Q) xax {0 一 动 一 二 


求 出 a 的 表达 式 
Pe 
1+h 


此 时 ,几何 分 布 的 概率 质量 函数 可 以 重 写 为 如 下 表达 式 ， 
Px(n) = ( 4 ) 局 


1 十 人 \l+k 
注意 : 另外 还 有 一 种 几何 分 布 随机 变量 的 定义 , 它 的 概率 质量 函数 取 值 范围 是 [1，% ) 而 不 是 
[0, % ) 。 在 例 1.9-4 中 出 现 过 这 种 几何 分 布 的 定义 , 在 那里 它 的 概率 质量 函数 表达 式 为 
P (2) = (1 -Qa)a"!iw(n 一 1)，, 这 其 实 和 此 处 的 定义 是 一 臻 的， 只 不 过 序列 右 移 了 一 位 而 已 。 


4.2 条 件 期 望 


在 许多 情况 下 , 我 们 希望 知道 总 体 中 一 个 子 集 的 平均 值 。 例 如 , 一 次 考试 中 及 格 试卷 的 平 
均 分 ; 年 龄 为 70 岁 的 正常 人 平均 预期 寿命 ; 战斗 机 飞行 员 的 平均 体重 (许多 空军 对 飞行 员 的 
可 接受 体重 都 规定 了 一 个 上 限 和 下 限 ) ; 长 跑 运 动员 的 平均 血压 , 等 等 。 这 类 问题 都 可 以 归纳 
到 条 件 期 望 的 范畴 。 

在 条 件 期 望 中 , 我 们 计算 总 体 中 一 个 子 集 的 平均 值 , 而 且 由 于 一 个 特定 事件 的 输出 值 使 得 
它们 都 具有 共同 的 性 质 。 比 如 要 计算 及 格 试卷 的 平均 分 , 这 里 的 子 集 就 是 那些 及 格 的 试卷 。 
那么 这 些 试 卷 的 共同 特性 是 什么 ?” 那 就 是 它们 的 分 数 ， 比 如 都 大 于 等 于 65 分 。 而 发 生 的 事件 
就 是 指 它们 都 及 格 了 。 

定义 4.2-1 事件 BB 发 生 时 , 及 的 条 件 期 望 定义 如 下 : 


EIXIB] 全 L: zjfxlB(z|B)dz (4.2-1) 


如 果 尺 是 离散 的 ， 式 (4.2-1) 替 换 为 





@ 当 n 0 时 w(n) = 1, 其 余 时 刻 4(n) = 0。 


第 4 章 数学 期 望 和 怎 167 


EIX|B] 全 2 TiPxlp(rilB) (4.2-2) 


为 了 给 读者 关于 条 件 期 望 一 个 直观 的 认识 , 考虑 一 次 概率 论 考试 中 的 分 数 : 28, 35, 44， 
66, 68, 75, 77, 80, 85, 87, 90, 100, 100。 假 设 及 格 分 数 线 为 65 分 。 在 这 次 考试 中 平均 分 是 
71. 9, 但 是 平均 及 格 分 数 为 82.8。 下 面 给 出 一 个 联系 非常 紧密 的 例题 。 


例 4.2-1 (均匀 分 布 的 条 件 期 望 ) 考 虑 一 个 连续 随机 交 量 对 和 一 个 事件 BA | 卫 宇 a| 。 利 
用 式 (2.6-1) 和 式 (2.6-2) 可 得 





0， rT<a 
Fxlp(T|X > a)= | Fx(7) — Fx(a) (4.2-3) 
1 一 Fx(a) ” 
因此 有 
0, rT<a 
fx|lB(T|X = a)= | fx(7) ma (4.2-4) 
1 wo 
以 及 i 
| Tfx(T) dr 
Va dh 一 -一 一 (4.2-5) 


fx(T) dz 


假设 卫 是 区 间 [0, 100] 上 的 均匀 分 布 随机 变量 ， 可 得 
和 


100 


如 果 设 a = 65, 根据 式 (4.2-5) 可 得 
E[X|X > 65] = 82.5 


当 随 机 变量 是 相互 联系 的 时 候 , 就 会 经 常用 到 条 件 期 望 。 例 如 用 了 来 表示 随机 选取 的 一 
个 人 的 寿命 , 设 站 是 一 个 二 元 随机 变量 , 用 来 区 分 这 个 人 吸烟 与 否 。 当 关 = 0 时 表示 这 个 人 不 
吸烟 , 也 = 1 表示 这 个 人 吸烟 。 很 显然 , 一 般 会 认为 BLYI 著 =0] 比 E[YIX=1] 大?。 或 者 
假设 卫 表 示 入 射 光 的 照射 强度 ,了 表示 光电 探测 器 产生 的 瞬时 光电 流 强度 。 一 般 而 言 , 光照 越 
强 了 的 数学 期 望 会 越 大 , 反之 越 小 。 下 面 我 们 将 给 出 一 些 重 要 的 概念 。 

定义 4.2-2 设 系 和 了 是 离散 随机 变量 ,联合 概 率 质量 函数 为 Py(X;, Yy;)。 用 ELY1IX= 2 ] 
来 表示 给 定 素 = ii 时 了 的 条 件 期 望 

ElYIX = zi] SD yPlx (yilzi) (4.2.6) 
了 
在 这 里 Pyx(y;| 05 ) 是 一 个 条 件 概率 表达 式 ， 表示 事件 区 wi | 发 生 的 前 提 下 ， 事件 {Y 3 2 
发 生 的 概率 ， 其 值 为 Pr r(2; 9 ij)[Pr(Czi ) O 


下 面 我 们 推导 出 一 个 非常 有 用 的 公式 ,可 以 用 工 在 瑟 =Z 前提 时 的 条 件 期 望 来 计算 
ELY]。 这 么 做 的 原因 类 似 于 总 体 概率 的 计算 , 即 可 以 通过 条 件 概 率 来 计算 一 个 事件 的 平均 或 
总 体 概率 [参见 式 (1.6-7) 或 式 (2.6-4) ] 。 因 此 可 得 


”统计 表明 : 每 抽 一 支 烟 寿命 大 约 减 少 8 分 钟 , 因此 如 果 每 天 抽 一 包 烟 , 一 年 下 来 寿命 将 会 减少 40 天 ! 
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ElY] = 2_yPy (y;) (4.2.7) 
7 | 


= Dy sD Py y (wiiyi) 
了 i 

2 bp one Px (xi) 
1 了 


在 E[Y|X = zi]Px (zi) (4.2-8) 


式 (4.2-8) 是 一 个 非常 简洁 的 结论 , 意味 着 对 了 在 的 前 提 条 件 下 所 有 可 能 的 条 件 期 望 D 取 平 
均 就 可 以 得 到 EB[Y]。 因此 , 对 于 先前 的 那个 吸烟 者 寿命 的 问题 , 假设 ELYI X = 0] = 79.2 
(单位 : 岁 ) ,五 了 1 和 =1] = 69.4( 单 位: 岁 ), 而 且 Px(0) = 0.75, Px(1) = 0.25。 那么 可 
计算 出 普通 人 群 的 预期 寿命 如 下 : 
El[Y] 一 79.2 x 0.75 十 69.4 x 0.25 = 76.75 
对 于 连续 时 间 的 情况 , 也 有 一 个 与 式 (4.2-8) 类 似 的 结果 。 根 据 第 2 章 中 的 式 (2. 6-85 ) 可 得 
~ fxy(z,y) 
fylx(y|z) = ~ fx(7)A0 (4.2-9) 

下 面 给 出 连续 随机 变量 条 件 期 望 的 定义 。 

定义 4.2-3 设 和 和 了 是 连续 随机 变量 ,联合 概 率 密 度 函 数 为 ,fir(Z, Y)。 当 关 =X 时 ,用 
式 (4.2-9) 来 表示 了 的 条 件 概率 密度 函数 。 那 么 当 忆 =Z 时 ,了 的 条 件 期 望 为 


ElY|X = 2] a 六 yfylx (yz)dy (4.2-10) 


根据 下 面 的 公式 
ElY] = 人 上 yjJfxy(z,y)dzdy (4.2-11) 
由 式 (4.2-9) 和 式 (4.2-10) 可 得 


五 [了 ] = | fx(7) | yfylx(y|z)dy| dz 


- (4.2-12) 
= | E[Y|X = zx]fx(z) dz 


与 式 (4.2-8) 等 价 , 式 (4.2-12) 是 一 个 连续 随机 变量 。 用 来 计算 B[Y] 的 时 候 具 有 很 大 的 优势 
(用 直接 法 )。 我 们 用 光 通 信 的 一 个 例子 来 讲解 这 个 观点 。 

例 4.2-2 (条 件 泊 松 分 布 ) 对 于 图 4.2-1 所 示 的 光电 探测 器 ,在 时 间 7 内 产生 的 光电 子 数 
目 了 取决 于 ( 归 一 化 ) 入 射 光 能 量 耳 。 如 果 四 是 常数 ( 即 忆 =x)， 那么 了 是 一 个 服从 参数 为 
的 泊 松 随机 变量 -4。 而 实际 光源 (稳定 的 激光 器 除外 ) 无 法 发 射 能 量 恒定 的 信号 , 因此 六 应 
该 被 看 成 一 个 随机 变量 。 在 某 些 特定 情况 下 , 也 的 概率 密度 另 数 可 以 建 模 为 





四 这 意味 着 我 们 把 了 关于 互 的 条 件 期 望 看 成 一 个 随机 数 。 接 下 来 将 会 详细 讲解 这 个 重要 概念 。 现 在 我 们 认为 瑟 为 一 个 给 
定 的 值 x;( 或 x)。 
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0, 余 ' 雪 内 
其 中 参数 jx 表示 已 [ 卫 ]。 在 此 , 将 根据 式 (4.2-12) 用 直接 法 来 计算 B[Y]。 
i(t) 


1 有 
St rd 人 SY (4.2-13) 


基于 单个 光子 
的 电流 脉冲 


光 探 测 器 


Rn 
: 1 一 > 输出 


图 4.2-1 在 光电 探测 器 中 , 入 射 光 产生 一 个 由 光 生 电子 组 成 的 电流 
解 ” 因 为 当下 =x 时 了 服从 泊 松 分 布 , 我 们 可 以 写 出 





k 
i 


PlY = kX = 可 = 而 


再 根据 例 4.1-6 可 得 
ElYIX =2)= 2 
最 后 ,利用 式 (4.2-12) 的 结论 ,通过 合理 的 变量 替换 可 得 


er) 


五 [了 = Lx 
为 了 体现 出 可 以 使 用 一 个 简易 的 方法 来 求 出 结果 ，, 在 此 采用 直接 法 计算 
E[lY] = 》_ kPy(k) (4.2-14) 
k= 二 0 
为 计算 Py(k), 可 对 式 (4.2-13) 的 fx(X) 进行 变换 [参见 式 (2.6-14)], 最 终 的 结果 为 [参见 
式 (2.6-23)] 


Py(k) = (4.2-15) 


/发 
(1 十 WAx)s+1 
最 后 , 将 式 (4.2-15) 代 入 式 (4.2-14) 可 得 
WE 
E[Y] = 2 i 
易 知 上 面 序列 的 求 和 结果 为 Jvx。 还 可 以 采用 其 他 巧妙 的 方法 来 间接 计算 这 个 序列 之 和 ， 比 如 
利用 导数 。 
例 4.2-3 (条 件 高 斯 分 布 ) 设 信和 了 是 零 均 值 的 随机 变量 , 联合 概率 密度 函数 为 
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1 i 
i ee) 疝 
我 们 很 快 会 发 现 (参见 4.3 节 ), 式 (4.2-16) 其实 是 两 个 随机 变量 的 联合 高 斯 概率 密度 函数 的 
一 种 特例 。 首 先 可 以 看 出 ,， 当 p 关 0 时 fxy(X,Yy) 关 fx(X)fy(Yy) ,因此 p 六 0 时 及 和 了 不 是 相 
互 独立 的 。 当 p =0 时 有 fxy(Z，Y) =fx(XY)fy(Y)， 所 以 p = 0 意味 着 全 和 了 独立 。 我 们 暂时 
对 参数 p(p 称 为 归 一 化 协 方差 或 协 相关 系数 ) 不 熟悉 ， 只 要 知道 当 p = 0 时 , 卫 和 了 是 零 均值 
的 高 斯 随机 变量 


fxY (7z,y) = (4.2-16) 








外 122 /202 
fx(7) = fy(7z) = a /2 
不 过 ,即使 了 是 一 个 零 均 值 的 随机 变量 , 卫 =w 时 了 的 条 件 期 望 并 不 为 0。 因 为 根据 式 (4.2-9) 
| 网 1 (vy — pz)? 
fylx (ylz) 3 Bro p53) exp ( 202(1 ee 二 ) (4. 2-17) 
可 知 , fhnx(Y1X) 是 均值 为 px 的 高 斯 密度 函数 ， 即 
ElYIx = 可 = | vixlyle)ey 
一 co (4.2-18) 


= pr 
当 p 趋向 于 1 时 ,五 [了 I 瑟 =Z] 二 xX, 此 时 意味 着 了 非常 接近 于 关 ( 如 果 p = 1 意味 着 了 和 了 完 
全 一 致 )。 如 果 我 们 希望 估计 了 的 取 值 ， 用 了 bp 来 表示 。 而 且 此 时 观测 值 卫 = XY, 那么 最 佳 的 估 
计策 略 就 是 设 Y 了 。 = Xo 另 一 方面 , 如 果 p = 0, 意味 着 此 时 互 的 观测 值 对 于 了 的 估计 毫 无 帮助 。 
从 高 斯 分 布 的 这 个 例子 可 以 看 出 ,参数 p 表征 了 通过 观测 一 个 随机 变量 预测 另外 一 个 随机 灾 
量 的 能 力 。 在 此 需要 注意 的 是 : 一 个 随机 变量 不 能 线性 预测 另外 一 个 随机 变量 , 这 并 不 意味 着 
二 者 是 相互 独立 的 。 


例 4.2-4 (随机 变量 之 和 的 条 件 期 望 ) 设 Kl 和 Ks 是 两 个 独立 的 离散 随机 变量 ， 试 计算 条 
件 期 望 E[Ki1 K, + K。= m]。 首先 需要 计算 条 件 概率 PLK, = ki1 K+K, = m]。 这 个 条 件 
概率 可 计算 如 下 : 

i PIKI=k,Ki+KR2=m 
PIKi = KE 十 Ka = m= A 
_ PIKi=hk,K2=m— k1] 
= PIKi 十 天 2 = ml] 人 
PIKi 一 1 人 1] 尸 [ 开 2 一 771 一 ki1] 
PIK1+K2= ml 
在 此 设 KK 和 Ks 都 服从 参数 为 9 的 泊 松 分 布 , 因此 这 两 个 随机 变量 是 独立 同 分 布 的 。 通 过 
式 (4.2-19) 以 及 例 3.3-8 的 结论 可 知 
PIK! 一 上 | 开 1 于 K» 一 ml 
(e010%1 /k1!) x (e-020m 人/(m — ki)!) 
e 一 (91+62)(01 + 02)™ /ml! (4.2-20) 














(有 O10 KM x (01+02) ™ 


第 4 章 数学 期 望 和 拢 171 


再 次 根据 E[K|1K+=m]A》》 ”hPL[K =h| KR+K: =m], 以 及 二 项 式 展开 公式 


k=0 


37,(%) ee = (01 + 9s)"。 根据 式 (4.2-20) 最 终 可 得 





, 01 
E[IKi|Ki+ K2= ml= 
[KilK1 + K2= ml] mx (Wa) (4.2-21) 


例 4.2-5 ( 续 例 4.2-4) 设 Ki, Ks, Ks 代表 1 = 3 的 多 项 式 随 机 变量 , 也 就 是 存在 三 个 可 

能 输出 。 对 于 n 次 试验 , 其 概率 质量 函数 为 
Px (ki1, k2, k3) = PIK1 = hi, K2 = k2, Ks = ka] 
ob 十 ko 十 ka 二 n, 所 有 k; 宇 0 (4.2-22) 
0， 其 他 

其 中 Di + Pps。+ ps = 1, 在 此 我 们 希望 计算 E[K| K+K,=m]。 

解 ” 同 上 一 例题 , 需要 首先 计算 PLK, = ki 1 K, + K。= m], 过 程 如 下 : 
PIKi1 =ki,Ki+K2=m) 

P[IKi + K2= ml 
对 于 多 项 式 的 情况 , 事件 上: Ki(V) + Ks(V) = mi |: KL(L) = ki| 与 事件 |: Ki(Z) 
ki, Ks(L) =m -ki, Ka(l) = n 一 m| 是 等 价 的 , 因此 有 
PIKi1 = ki,K2s=m—hki,K3=n— ml 





PKa =klKi+K2=m) = 








PIKi1 = kKi+ K2= m= I (4.2-23) 
AT 
二 0 i 
= (mrp + pa)™ (4.2-24) 
根据 公式 
已 UK + Ks=m]= RPR =kIKi+K2=m) 
ki 
可 得 
E[IKi|Ki+ K2 = ml]= 四 (4.2-25) 
下 面 的 这 个 结论 留 给 读者 来 完成 
E[K2|K1+ K2=m)] i (4.2-26) 


这 种 类 型 的 问题 在 估计 过 程 中 经 常会 遇 到 ， 即 所 谓 的 期 望 最 大 化 算法 , 我 们 将 在 第 11 章 详细 
讨论 这 个 问题 。 





”这 里 表达 方式 与 二 项 分 布 的 不 太一 样 。 如 果 要 把 这 里 的 多 项 式 分 布 的 记号 套用 到 二 项 分 布 的 情况 , 那么 就 需要 把 二 项 分 布 
随机 变量 开设 为 = 和 K。= n - K。 对 于 一 般 情况 下 的 1 项 多 项 式 分 布 ,我 们 需要 时 刻 保证 Kl + Ks + … +K =n。 
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条 件 期 望 被 当成 一 个 随机 变量 


考虑 函数 了 = g() 这 个 特例 , 其 中 并 是 一 个 离散 随机 变量 , 那么 了 的 数学 期 望 为 
= >》 9g(zi)Px(zi) 
= Elg(X)] 
这 意味 着 可 以 把 式 (4. 2-8) 写 为 一 个 与 之 相似 的 形式 , 即 
= 》' BEIYIX = zilPx(zi) 
i (4.2-27) 
= E[EIY|X]] 
需要 注意 的 是 : B[Y1 XX = zi;] 是 一 个 数值 , 类 似 于 函数 g(x;) 的 值 , 而 BLY1 X] 就 是 随机 变 
量子 的 一 个 函数 , 而 且 E[YI XX] 本 身 也 是 一 个 随机 变量 。 给 定 一 个 概率 空间 = (0, FP) 
以 及 定义 在 上 面 的 随机 变量 卫 , 对 于 每 个 输出 值 < e 2 我 们 产生 对 应 的 一 个 实数 至 [YI X = 
- ] 。 当 把 变量 : 当成 基本 实验 的 输出 时 , 对 应 着 一 个 取 值 BLY1 了 = X(Z)], 因此 可 以 把 
EB[Y1X] 看 成 一 个 随机 变量 。 一 般 而 言 , 瑟 关 于 Z 的 函数 特性 往往 被 忽视 了 , 而 且 我 们 也 很 少 
he bab nh ere 下 面 的 例子 将 讲解 如 何 把 条 件 期 望 当成 一 个 随机 变量 来 使 用 。 


例 4.2-6 (多 通道 通信 ) 考 虑 这 么 一 个 通信 系统 , 信息 传输 的 时 延 是 了 (单位 : ms), 传输 
信道 的 选项 为 L。 其 中 工 =1 表示 卫星 信道 , L =2 表示 同 轴 电 绕 信 道 , L =3 表示 微波 表面 链 
接 , L=4 表示 光纤 链接 。 一 般 根据 传输 能 力 来 选择 信道 ,这 完全 是 随机 的 。 假 设 Pj(1) = 
1/4, 1 =1,…,4, 而 且 已 知 E[TIL=1] =500, E[TIL=2] =300, E[TIL=3] =200 
以 及 EB[TI LL =4] = 100。 那么 随机 变量 g(L) A E[TI1 工 |] es 

500， 落 1) = 


300， 工 =2 1 
g(L) = 9 
200， 工 =3 PL(3)=1 
100， 工 =4 PL(4)= 
可 得 EB[T] =E[g(L)] =500 x 二 +300 x 地 +200 x 闻 +100 x 二 =275。 


E[Y1 X] 表示 一 个 随机 变量 , 这 不 仅 适用 于 离散 随机 变量 , 而 且 对 于 连续 或 混合 的 随机 
变量 也 是 同样 适用 的 。 比 如 , 对 于 例 4.2-12 


E[Y| = | Bd = Z|fx(z) dz 


上 式 也 同样 可 以 写成 [了 7] = EB[E[YI X]], 这 里 把 B[Y1 X] 看 成 连续 随机 变量 全 的 一 个 函 
数 。 括 号 里 面 的 数学 期 望 是 对 了 而 言 的 ,而 括号 外 面 是 对 耻 而 言 的 。 

上 面 讲 到 的 内 容 还 可 以 扩展 到 更 复杂 的 情况 。 比 如 , B[Z1 ,7] 就 是 随机 变量 和 了 的 
函数 ,因此 这 是 一 个 随机 变量 的 二 元 方程 。 一 个 特定 的 输出 < 2, 对 应 于 一 个 值 B[2 1 
X(Z),Y(Z) ]。 为 了 计算 B[2], 我 们 需要 写成 B[Z] = BE[B[Z1X, Y]] 的 形式 , 以 连续 随机 
变量 为 例 , E[2] 的 计算 过 程 如 下 : 

E[2] = EILEIZ|X,Y]] 


es a! (4.2-28) 
= | | zfzlx,y (zz,y) fxy (7T,y)drdydz 
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在 本 节 最 后 , 我 们 将 条 件 期 望 的 一 些 特性 归纳 于 此 。 
条 件 期 望 的 一 些 特性 

特性 (i) 五 [ 切 = ELELYI X]]。 

证 明 输入 变量 为 离散 时 的 证 明 参 见 式 (4.2-8), 连续 的 情况 参见 式 (4.2-12)。 其 中 括号 
最 里 面 是 关于 了 的 数学 期 望 , 括号 外 面 一 层 是 关于 尺 的 数学 期 望 。 

特性 (ii) 如 果 有 和 了 是 相互 独立 的 , 那么 有 E[YI X] = E[Y]。 

证 明 : 


ElY|X = 2 = | ~ 


如 果 下 和 了 是 相互 独立 的 ,Jar(z, 2) = fnx(y1 2)fr(z) = fj(Y)fi(z) 成 立 , 此 时 可 得 
区 (人 1 区) 三 万 ( 殉 ， 以 及 


ElY|X = x] = yfy (y)dy = E[Y] 
上 式 对 于 每 个 都 成 立 , 所 以 有 
E[Y|X] = | yfy (Wdy = EY] 


离散 情况 的 证 明 与 之 类 似 。 
特性 (ii) E[Z1 X] = EL[LE[Z1 X, FY] 1 X] 
证 明 : 
BEIZK = 可 = | zfax(zle)d 
= | | zfzlxy (zz,y)fylx (yz)dz dy 


= | dy fylx (yl7) ll | zfzlx,y (z|7,Yy)dz 

= E[EIZ|IX,Y]|X = 2] 
内 层 的 数学 期 望 是 对 于 名 而 言 , 而 外 层 是 对 于 了 求 数学 期 望 。 因 为 上 式 对 于 所 有 的 x 都 成 立 ， 
因此 有 E[2Z1l XX] = EB[E[Z1 耻 ,了 Y] 1 了 ]。 均 值 jy = [LY] 是 对 随机 变量 了 的 一 个 估计 , 估计 
的 均 方 误差 为 e: = B[( 了 -jy)*]。 实际 上 jy 是 一 个 最 优 估计 , 任何 jy 之 外 的 估计 值 都 会 导 
致 a’ 增 大 。 


4.3 随机 变量 的 和 


尽管 数学 期 望 可 以 很 好 地 “ 总结" 一 个 随机 变量 的 特性 , 但 要 想 完 全 描述 这 个 随机 变量 这 
还 远 远 不 够 。 在 4.1 节 中 , 我 们 就 曾经 见 到 均值 相同 的 两 组 数据 集合 , 但 它们 的 样本 偏差 却 差 
异 很 大 。 同 样 地 , 两 个 随机 变量 的 均值 可 能 一 样 , 但 它们 的 标准 偏差 却 不 同 。 在 此 把 yx, ox 
各 [X ] 等 统称 为 X 的 和 矩 (moment)。 一 般 而 言 , 一 个 随机 变量 往往 拥有 许多 非 零 的 高 阶 矩 。 
在 一 些 特定 的 条 件 下 (参见 4.5 节 ), 它们 完全 可 以 描述 一 个 随机 变量 的 特性 , 也 可 以 利用 这 
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些 高 级 矩 来 重 构 一 个 随机 变量 的 概率 密度 函数 。 在 下 面 的 定义 中 , 假设 随机 变量 的 矩 都 是 存 
在 的 (不 过 并 不 是 所 有 随机 变量 都 存在 矩 ) 。 
定义 4.3-1 斑 的 了 阶 和 天 的 定义 为 


mr 人 EX = | ZJx(z) dr, 其 中 7 = 0,1,2,3,… (4.3-1) 


如 果 头 是 一 个 离散 随机 变量 , 那么 可 以 用 它 的 概率 质量 函数 来 计算 7 阶 短 
mr 全 SzT Px (zi) 


其 中 Mm。= 1, m = jw( 均 值 )。 
定义 4.3-2 承 的 7 阶 中 心 短 定义 如 下 : 


er ES BI(X — p)"), 其 中 7 二 0,1,2,3,-… (4.3-2a) 
对 于 一 个 离散 随机 变量 , C, 可 以 计算 为 
cr SD (zi 一 JrPx(zi) (4.3-2b) 


cs 是 最 常用 的 中 心 矩 ， 也 称 为 方差 , 常用 或 者 Var[ 和 ] 来 表示 。 记 住 co = 1, c! = 0， 

cy = o”。 下面 有 一 个 重要 的 公式 , 把 方差 瑟瑟] 和 联系 在 一 起 
o2=E[[X -|= EX*]— El2uX] + Blu] 
对 于 任意 的 常数 a, 有 E[aX] = aB[X] 以 及 Ela ] = a 成 立 , 因此 有 
a2 = E[X?] — 2uE[X]+y 
= EIX®]—p 

其 中 有 [X] 4 ws 为 了 表达 更 简洁 , 常用 一 个 上 画 线 来 表示 数学 期 望 , 即 = EB[X], 同样 
也 适用 于 各 阶 矩 。 利 用 这 种 表示 方法 , 式 (4.3-3) 可 以 写 为 


(4.3-3) 


02 一 X2 一 /2 (4.3-4a) 

或 者 等 价 的 表达 式 为 
Xl =o2+p (4.3-4b) 
式 (4.3-4a) 把 jw 以 及 凡 同 二 阶 中心 矩 cs 联系 在 一 起 。 我 们 还 可 以 把 这 个 结论 推广 到 一 般 情况 
(和 -内 = ( (DwX™™ (4.3-5a) 


i=0 


对 式 (4.3-5a) 两 边 同 时 取 数 学 期 望 , 再 根据 数学 期 望 的 线性 特性 可 得 
cr=5 2 (一 Dai (4.3-5b) 


0 
例 4.3-1 设 卫 为 二 项 分 布 随 机 变量 , 试 计算 ms。 根据 定义 
Px(k) = 时 Prd 


以 及 


第 4 章 数学 期 望 和 短 175 


me (pe 


一 2p2m(m 一 1) 十 mpD ha 
= np + npg 
如 何 从 上 面 的 第 2 行 推 导 第 3 行 , 这 需要 用 到 一 些 代数 方面 的 知识 , 我 们 把 这 些 留 给 读者 作为 
练习 。 从 第 3 行 到 第 4 行 , 需要 用 到 4 全 1 -p。 因此 ,站 的 数学 期 望 为 


= np=k 
根据 式 (4.3-6) 的 结论 以 及 式 (4.3-4), 我 们 可 以 归纳 出 如 下 的 一 般 结论 , 其 中 二 项 分 布 随机 变 
量 的 概率 质量 函数 为 b(k; n, Dp) 


(4.3-7) 


a2 = npg (4.3-8) 
对 于 任意 给 定 的 nn， 当 p=gq=0.5 时 方差 取 最 大 值 ( 参 见 图 4.3-1)。 
例 4.3-2 ( 零 均值 高 斯 随机 变量 的 二 阶 矩 ) 试 Cag 
计算 随机 变量 及 的 二 阶 挎 C2， 其 中 XX: N(O0, o)。 0.3 
因为 = 0, cs = ms, 所 以 有 





上 面 的 积分 结果 可 参见 例 4.1-7, 其 中 有 EE[X] = ,1 
0?。 因此 ,无论 高 斯 随机 变量 及 是 否 是 零 均值 的 ， 
其 方差 都 是 0 。 
下 面 将 用 一 些 有 趣 的 甚至 有 些 难度 的 例题 来 讨 ” 了 :站 ? 
解 矩 的 应 用 。 图 4.3-1 二 项 分 布 随机 变量 的 方差 , 参数 为 也 


例 4.3-3 ( 焙 ) 如 果 随 机 变量 及 的 概率 密度 函数 fx(X) 未 知 , 我 们 想 用 函数 p(X) 来 估计 
f(x) ,根据 最 大 灶 (ME ) 准则 ， 应 该 使 函数 D(Z) 的 炉 最 大 , 定义 为 


HIX]S- | wi (4.3-9) 
同时 还 应 该 满足 下 面 的 限制 条 件 
p(T)=0 (4.3-10a) 
| p(x) dz = 1 (4.3-10b) 
| Ep(i) dy = (4.3-10c) 
Ll z2p(z) dz = mz, 等 等 (4.3-10d) 


假设 通过 某 种 测量 知道 了 式 (4.3-10c) 中 的 人 内, 而 且 假 设 X 三 0。 因此 , 我 们 希望 找到 一 个 合适 
的 D(X) 使 得 式 (4.3-9) 中 的 矿 [X] 最 大 化 ,当然 还 要 满足 式 (4.3-10) 中 前 三 个 限制 条 件 。 根 
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据 拉 格 朗 日 乘 数 法 “ 可知， 对 也 (2Z) 求 导 所 求 的 解 可 使 下 面 表达 式 取 最 大 值 : 
一 | p(T)lnp(z) dr 一 Al | p(T) dr 一 和 > 1 rp(T) dr 
0 0 
常数 A; 和 As 即 拉 格 朗 日 乘 数 。 通 过 求 导 可 得 
lInp(x) 三 一 (1 十 Al) 一 入 2 
或 者 
D(Z) = e (1+ 和 AI 十 A2z) (4.3-11) 


将 这 个 结果 代入 式 (4.3-10b) 和 式 (4.3-10c) 可 以 得 到 
1 


-(1+A1) 二 0 
e zt SS 
以 及 
a 
HL 
因此 ,fy(X) 的 最 大 类 计 值 为 
De 无 艺 0 
p(X) = (4.3-12) 
5 0 


如 果 几 和 都 是 已 知 的 ， 如 何 求 解 此 时 fix(%) 的 最 大 类 计 值 ? 将 这 个 问题 留 给 读者 作为 练 
习 。 在 这 种 情况 下 , D(Y) 是 一 个 均值 几 , 方差 为 o 的 正 态 分 布 。 

常见 的 均值 , 方差 和 均 方 值 归纳 表 表 4.3-1 归纳 了 一 些 常 见 连续 随机 变量 的 均值 , 方差 
和 均 方 值 。 本 书 已 经 给 出 了 部 分 结果 的 计算 过 程 , 剩 下 的 那些 留 做 本 章 的 习题 。 

表 4.3-2 给 出 了 一 些 常 见 的 离散 随机 变量 的 结果 。 

绝对 和 矩 和 一 般 矩 比 起 m, 和 c, 来 , 用 处 偏 少 , 但 不 失 一 般 性 , 我 们 仍然 在 这 里 给 出 它们 的 


定义 
BlX 门 全 | eryx(o)dz (绝对 条 ) 
BX -全 | -oryxtodz (一 般 抵 ) 


如 果 设 a = ,那么 关于 a 的 一 般 矩 就 成 为 中 心 矩 。 如 果 a = 0, 一 般 矩 就 是 m,。 
表 4.3-1 一 些 常 见 连续 随机 变量 的 均值 , 方差 和 均 方 值 











分 布 知 pdf flx) 均值 = E[X] 方差 02 均 方 值 E [X2] 
均匀 分 布 U(a.b) 3(a+b) 证 (0 一 a) 3(b? + ab+ a?) 
指数 分 布 lo-z/na(z) 到 1 2 
Hi 
i 二 总 2 2 
高 斯 分 布 : nL o M+o 
270 
2 ya3 3 7 
拉 普 拉 斯 分 布 一 2 lzl 0 2 2 
a o o 
瑞 利 分 布 ee 过 > u(Z) 了 (2 一 了 ) o? 20? 
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表 4.3-2 ”一些 常 见 离散 随机 变量 的 均值 ,方差 和 均 方 值 











分 布 艇 PMF Pk) 均值 = E[K] 方差 02 均 方 值 E[K2] 
伯 努 和 分 布 。 Pa(k)= {Dg 人 1-p p pg p 
Binomial b(k;n,p) = (7 )p*q” 人 np npg (np)* + npg 
几何 分 布 l z( Le ) u(k) nL +p 十 2402 
1 十 1 十 从 
a 
泊 松 分 布 站 ul(k) a a oa2 十 a 
联合 珑 


现在 再 讨论 一 下 例 4.2-3 中 首次 提 及 的 那个 问题 。 假 设 给 定 两 个 随机 变量 也 和 了 , 我 们 希 
望 测量 一 下 二 者 的 线性 关系 到 底 有 多 “好 ”。 换 句 话 说 , 也 就 是 通过 观测 立 的 取 值 来 衡量 了 的 
取 值 。 一 种 极端 情况 , 如 果 和 和 了 是 完全 独立 的 , 那么 的 观测 值 对 于 了 的 估计 片 无 帮助 。 
一 种 极端 情况 , 如 果 了 = aX +5b, 只 要 知道 了 的 取 值 马上 就 能 知道 了 的 取 值 。 但 是 在 实际 
情况 下 , 两 个 随机 变量 既 不 会 完全 独立 , 也 不 会 完全 线性 相关 。 基 于 这 个 现实 非常 有 必要 定义 
一 种 测度 ,可 以 用 来 衡量 一 个 随机 变量 能 “告诉 "我们 多 少 关 于 男 外 一 个 随机 变量 的 信息 ,这 
种 测度 就 叫做 联合 和 矩 。 并 不 是 所 有 的 联合 矩 都 是 一 样 重要 的 , 最 重要 的 一 种 是 二 阶 联合 矩 (将 
很 快 在 后 面 给 出 定义 ) 。 但 是 ,后 面 将 会 看 到 , 其 他 联合 和 矩 在 另外 一 些 应 用 场合 也 是 很 重要 
的 , 所 以 在 此 先 讨论 一 般 情况 。 
定义 4.3-3 习 和 了 的 第 好 阶 联 合 矩 定义 如 下 : 


mi 全 ELXiYH] 
oo foo (4.3-13) 
= | | Tfxy(T,y) drdy 
如 果 刀 和 了 是 离散 的 ， 可 以 利用 概率 质量 函数 来 计算 Mr 
71i7 一 2 次 (Z 2 ym) (4.3-14) 
定义 4.3-4 及 和 了 的 第 补 阶 中 心 矩 定义 如 下 : 
cj S EI(X — X¥)i(Y —Y)) (4.3-15) 


其 中 用 到 了 前 面 的 一 个 定义 卫 A B[X] , 对 于 了 也 类 似 。 撼 的 阶 数 为 了 +7。 因 此 ,下 面 给 出 的 
都 是 二 阶 矩 : 
mo2 = E[lY?] co = E[(Y — 7) 
m20 = E[X] c20 = E[(X — XX) 
m11 = EI[XY] cli 二 EB[(X 一 叉 —Y)] 
= E[XY] — 
= Cov[X,Y] 





Q@ 有 的 时 候 几 何 分 布 的 概率 质量 函数 被 写成 (1 -a)a*wu(%) 的 形式 , 0 <a <1, 其 中 .=a/(1 -a) 从 >0。 
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mi 和 cu 是 两 个 最 重要 的 联合 矩 ， 可 以 用 来 衡量 预测 能 力 与 统计 相关 性 , 它们 分 别 被 称 为 了 X 
和 了 的 协 相 关 与 协 方差 。 协 相关 系数 0 的 定义 为 

a (4.3-16) 
该 定义 在 4.2 节 已 经 介绍 过 [参见 式 (4.2-16) ]。 为 了 证 明 协 相关 系数 1p1 大 1, 考虑 如 下 的 非 
负 表 达 式 : 





妃 [((A( 和 一 Ax) 一 (了 一 pz)) 关 0 
A 为 任意 的 实 常 数 。 为 了 验证 不 等 式 左 边 为 非 负 的 , 我 们 只 需要 将 其 改写 为 如 下 的 形式 : 


os | | he) -bm drdy>0 


因此 对 非 负 的 不 等 式 进行 积分 结果 不 可 能 为 负 , 结论 得 证 。 
上 一 个 等 式 其 实 是 和 的 一 个 二 次 方程 。 实 际 上 , 将 该 方程 展开 可 得 
Q(A) = A2620 十 co2 一 2Acll 三 0 


方程 8(A) 至 少 有 一 个 实 根 。 因 此 , 它 的 判别 表达 式 应 该 满足 
2 
C11 C02 
(号 ) i 


cd < C02C20 (4.3-17) 


或 者 


因此 结论 1p1 < 1 得 证 。 
当 cu = cwcw 时 1p1= 1, 也 就 是 
2 
E (Se — Lx)—(Y -on =0 


C20 


其 等 价 表达 式 为 

oo oo 2 

Imm (Ep -wm)) fxy (zy) drdy =0 (4.3-18) 

下 小 丙 N66 
因为 六 (z， 2) 不 可 能 为 负 , 式 (4.3-18) 的 结论 表明 括号 内 的 表达 式 处 处 为 09。 因 此 , 通过 
式 (4.3-18) 可 知 , 当 | p1 =1 时 

¥ = (R=) + py (4.3-19) 
C20 


也 就 是 说 了 是 邓 的 一 个 线性 方程 , 此 时 Cov[X, 站 =0,p =0, 和 和 了 不 相关 。 
不 相关 随机 变量 的 一 些 特性 
(a) 如 果 筷 和 了 是 不 相关 的 , 那么 


ay = 一 ca% 十 ay (4.3-20) 





@ 注意 : 用 协 方差 系数 或 者 归 一 化 协 方差 的 称谓 可 能 更 合适 。 
@ ”在 此 不 考虑 那些 概率 为 0 的 奇异 点 。 为 了 表达 更 准确 一 些 , 我 们 应 该 把 “处 处 " 改 为 “几乎 处 处 ”, 不 过 我 们 经 常 采用 简 
单 的 写法 。 
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其 中 
oX yy SE[((X+Y)] — (ELX +Y])? 
(b) 如 果 基 和 了 是 独立 的 , 那么 它们 不 相关 。 
关于 (a) 的 证 明 , 留 给 读者 作为 练习 ;(b) 因 为 CovLX, 了 ] = E[XY] 一 EB[X]E[7], 我 们 
必须 证 明 E[XY] = E[X]E[LY], 即 


sxY]= | | Tyfxy (ry) dr dy 


一 | zjx(z)az | | yfy(y) dy (基于 独立 的 假设 ) 
= E[X]ELY] 
根据 独立 性 假设 , 结论 得 证 。 
例 4.3-4 (线性 预测 ) 假 设 我 们 希望 通过 对 随机 变量 承 的 观测 来 估计 随机 变量 了 『。 以 
图 4.3-2 的 数据 为 例 ， 用 一 个 线性 方程 来 对 了 进行 建 模 可 能 更 合适 
yp 人 SaX+pB (4.3-21) 
尽管 了 与 卫 之 间 有 联系 , 但 了 的 取 值 有 可 能 受 其 
他 因素 所 影响 。 因 此 , 一 般 情 况 下 1p1 关 1。 很 显 
然 了 的 估计 值 了 与 真实 值 之 间 是 有 一 定 误差 的 。 
那么 我 们 此 时 需要 做 的 就 是 寻找 合适 的 系数 Qa 和 
BB, 使 得 下 面 的 均 方 误差 最 小 : 
a2 EE[l(Y — Yp)’) (4.3-22) 
这 个 例题 其 实 就 是 一 个 最 简单 的 最 优 线性 估计 。 
从 统计 学 角度 ,也 称 为 线性 回归 。 
解 ” 将 式 (4.3-22) 展 开 可 得 
ae2 = ElY?] — 2auxy — 2Buy +2aBux +oELX?] + 
为 使 6 最小, 我 们 对 & 关于 a 和 B 求 偏 导 
ce” ae ” 
Ba ”66 
用 ao 和 来 表示 最 佳 系数 w 和 B, 利用 ao 和 可 使 6 最 小 化 。 通 过 一 些 代 数 技巧 可 得 
> Cov[X,Y] poy 
[二 





图 4.3-2 数据 对 (XX, 了) 的 散 点 图 。 了 和 了 之 
间 的 关系 可 以 用 一 条 直线 来 近似 


0 (4.3-23) 





a ey (4.3-24a) 
以 及 
CovlX,Y | 
Bo=Y J 训 Ix 
E (4.3-24b) 
三 要 
OxXx 


因此 , 最 优 线性 估计 器 为 


oO 
YP 一 Ar = p(X — x) (4.3-25) 
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该 直线 通过 了 点 (jwx, jr)。 如 果 将 ao 和 po 代入 式 (4.3-22 ) 可 得 最 小 均 方 误差 ge ,这 也 就 是 
习题 4.33。 

sain = 0Y(1—p’) (4.3-26) 
当 p = 0 时 还 有 一 些 非常 有 趣 的 结论 。 根 据 式 (4.3-25) 可 知 , 当 p =0 时, 估计 值 了 ,=jy, 这 
与 蕊 毫 无 关系 ! 这 意味 着 对 站 的 观测 不 会 对 了 的 估计 带 来 任何 帮助 , 而 且 此 时 最 优 的 估计 器 
就 是 了 4 = jy。o 在 例 4.2-3 中 也 遇 到 了 类 似 的 情况 。 因 此 , 在 线性 预测 与 联合 高 斯 概率 密度 函 
数 的 问题 中 , 用 协 相 关系 数 来 衡量 预测 能 力 是 比较 合适 的 。 在 有 的 时 候 , 两 个 随机 变量 不 相关 
貌似 二 者 是 独立 的 。 毫 无 疑问 ， 这 种 观点 来 自 这 么 一 个 结论 ， 即 两 个 随机 变量 忆 和 了 独立 意 
味 则 二 者 是 不 相关 的 。 但 是 , 这 个 结论 反 过 来 就 不 成 立 了 。 下 面 用 一 个 例题 来 说 明 。 


例 4.3-5 (不 相关 弱 于 独立 ) 考虑 随机 变量 瑟 和 了 ,联合 概率 质量 函数 Px y(Xw;, Yj) 为 
Pxy(ziy7) 的 值 

















入 和 了 不 是 独立 的 ， 因 为 Prr(0, 1) = 0 关 Pr(0)Py(1) = 名 。 另 外， 因为 jx = 0， 所 以 
Cov(X, Z) = E[XY] -wy = BLXY], mu 可 计算 如 下 : 
mi 二 (一 1)(1) 寺 十 (1)(1) 寺 ==0 
因此 , 不 和 了 不 相 关 ， 但 二 者 不 独立 。 
p = 0 是 一 个 非常 重要 的 特例 ,此 时 往往 意味 着 独立 。 接 下 来 将 讨论 这 种 情况 。 
联合 高 斯 随机 变量 
如 果 两 个 随机 变量 的 概率 密度 函数 满足 如 下 表达 式 , 那么 就 称 其 为 联合 高 斯 0( 联合 正 


态 ) 的 
2 
1 | 2 
二 x exp : 
fxy (7,y) pe l (天 一 02) {( Ox 


(Tz — Hx)(y — Hy) y— uy 
we (1 ) | 


这 里 有 5 个 相关 参数 , 分 别 是 ox, oy, Lx, Kr 和 ps 如 果 p = 0, 就 有 
fxy (rz,y) = fx(7)fy(y) 


fx(x) = Re 人 (SS) ) (4.3-28) 
TT x 2 








(4.3-27) 





其 中 








Q@ 联合 正 态 概率 密度 函数 有 的 时 修 也 称 为 二 维 正 态 概率 密度 函数 , 这 是 为 了 与 多 维 正 态 概率 密度 函数 一 致 。 如 果 不 采 用 
和 矩阵 (参见 第 5 章 ), 后 者 的 表达 式 将 非常 复杂 。 
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以 及 





fy(y) = | (S52) ) (4.3-29) 

因此 , 两 个 联合 高 斯 随机 变量 ,如 果 它 们 不 相关 ( 即 p。 = 0) , 那 它们 也 是 相互 独立 的 。 无 论 p 
取 什 么 值 , 边缘 密度 函数 f(x) 和 f(y) 一 般 也 是 正 态 的 。 但 是 反之 不 成 立 , 即 如 果 产 (z) 和 
f(y) 是 正 态 的 , 并 不 能 肯定 了 和 了 是 联合 高 斯 的 。 

为 了 加 强 了 解 , 我 们 以 CT( 计 算 机 XX 射线 断层 扫描 ) 为 例 进行 说 明 。 这 是 一 种 非常 流行 的 
X 射线 成 像 技术 ,常用 于 检测 人 体 中 的 癌 细 胞 以 及 其 他 异常 细胞 。 假 设 存在 一 个 物体 , 已 知 它 
的 XX 射线 吸收 函数 为 /(x, y) > 0。 这 个 函数 类 似 于 一 个 联合 概率 密度 函数 , 即 它 是 一 个 实 函 
数 , 非 负 且 很 容易 被 归 一 化 ( 不过, 最 后 一 个 性 质 并 不 重要 ) 。 因 此 , 我 们 可 以 在 联合 概率 密度 
函数 Jo(z, y) 和 XX 射线 吸收 函数 (x,y) 之 间 建立 一 个 一 一 对 应 的 关系 。 在 CT 检测 中 , X 
射线 沿 着 不 同 的 路 径 通过 一 个 物体 , 在 一 个 特定 的 角度 上 , 所 有 累计 的 吸收 被 测量 和 记录 
下 来 。 每 个 吸收 称 为 一 个 投影 , 在 特定 角度 9 上 所 有 投影 的 集合 被 称 为 9 角度 上 的 轮廓 函 
数 。 因 此 ， 一 条 直线 在 9 角度 上 的 投影 以 及 与 中 心 位 置 的 偏 移 量 s 由 如 下 表达 式 给 出 
[参见 图 4.3-3(a) ]: 

fo(s)= | f(z,y)dl 
L(s,0) 

其 中 , L(s, 9) 表示 一 条 偏离 中 心 位 置 的 直线 上 的 点 , s 表示 偏 移 量 , 9 表示 偏 角 , dl 表示 直线 
L(s, 9) 上 的 微分 。 如 果 s 从 最 小 值 变 到 最 大 值 , 那 就 可 以 得 到 这 个 特定 角度 上 的 轮廓 函数 。 
通过 一 种 叫做 “滤波 卷 积 反 投影 "的 复杂 算法 ,可 以 利用 所 有 角度 上 的 轮廓 函数 来 得 到 高 质 
量 的 人 体 X 射线 成 像 。 假 设 我 们 得 到 了 从 0。 -~ 90* 的 所 有 轮廓 函数 ， 如 图 4. 3-3(b) 所 示 ， 
那么 可 得 


RW)=| fwdy (水 平面 ) 


fy)= | fey) er (垂直 面 ) 


如 果 f(x, y) 是 高 斯 的 , 那么 (x) 和 f(y) 也 将 是 高 斯 的 , 这 与 边缘 概率 密度 函数 类 似 。 现 
在 我 们 探讨 一 下 这 种 情况 : 如 果 把 高 斯 的 fx, y) 改 为 非 高 斯 的 , 在 高 斯 轮廓 函数 里 面 能 否 看 
到 什么 变化 ? 如果 有 变化 , 就 可 以 给 出 这 么 一 个 结论 : 边缘 函数 是 高 斯 的 并 不 意味 着 联合 概率 
密度 函数 也 是 高 斯 的 。 在 图 4.3-3(c) 中 , 沿 着 息 " 角 从 a ~5b 增加 某 个 物体 的 吸收 率 , 增加 的 
量 为 P, 同时 也 沿 着 135° 角 从 a' ~ b' 减少 这 个 物体 的 吸收 率 , 减少 的 量 也 为 P。 由 于 在 水 平 
和 垂直 方向 上 ,轮廓 积分 增加 和 减少 的 量 都 是 已 , 因此 有 (x) 和 .f(y) 的 净 变 化 为 0, 结论 得 
证 。 假 设 己 不 是 一 个 过 大 的 值 , 那么 f(x, y) 沿 着 w' ~ b' 的 结果 为 负 。 做 出 这 个 假设 的 原因 
在 于 概率 密度 函数 以 及 XX 射线 的 吸收 率 不 可 能 为 负 。 

为 更 深刻 理解 联合 高 斯 分 布 , 我 们 考虑 这 么 一 个 非常 理想 的 例子 。 假 设 从 大 量 已 婚 夫妇 
中 随机 选择 , 分 别 用 有 和 了 代表 丈夫 和 妻子 的 身高 。 假 设 了 和 了 服从 高 斯 分 布 且 相互 独立 ， 
这 只 是 一 种 近似 , 因为 人 的 身高 最 小 不 可 能 为 负数 , 最 高 要 受 物理 因素 制约 。 在 我 们 的 社会 
中 , 一 般 都 是 高 个 子 选择 高 个 子 , 矮 个 子 选 择 矮 个 子 。 在 这 种 情况 下 , X 和 了 就 是 正 相 关 
的 , 也 即 是 p > 0。 另 一 种 情况 , 在 某 个 特定 的 社会 中 , 可 能 高 个 子 男性 喜欢 选择 矮 个 子女 性 ， 
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而 高 个 子女 性 却 喜 欢 选 择 矮 个 子 男性 , 此 时 也 和 了 就 是 负 相关 的 , 也 就 是 说 p < 0。 最 后 , 如 
果 这 个 社会 中 男女 的 婚配 完全 是 随机 选择 的 , 那么 此 时 的 p 就 是 0 或 者 一 个 非常 小 的 数 了 。 





图 4.3-3 通过 CT 成 像 技术 来 理解 边缘 概率 密度 函数 是 高 斯 的 , 联合 概率 密度 函数 不 一 定 是 高 斯 
的 。(a) 一 条 直线 的 投影 ,偏差 是 s ,角度 为 9, 一 个 特定 角度 上 所 有 投影 的 集合 组 
成 了 该 角度 的 轮廓 函数 ;(b) 一 个 联合 高 斯 的 X 射 线 物体 在 水 平和 垂直 方向 上 都 产生 了 
类 似 高 斯 分 布 的 轮廓 曲线 ;(c) 在 a ~5 方 向 上 加 上 一 个 恒定 的 吸收 率 , 在 a' ~b' 
方向 上 减 去 一 个 同样 的 吸收 率 ,轮廓 函数 不 变 , 但 实际 上 的 吸收 率 已 不 再 是 高 斯 的 


* 联合 高 斯 概率 密度 函数 的 等 密度 线 2 ”如 果 把 .Arr(z, y) 设 定 为 常数 , 那么 需要 找 出 xy 
平面 上 的 焦点 。 很 显然 , 指数 部 分 如 果 为 常数 (假设 为 ) , 那么 .Ar(Z, y) 也 就 是 常数 


2 2 
T— hx 2p ELOY py) | yy HN 2 
Ox CXCY oY 





上 面 这 个 等 式 是 一 个 椭圆 方程 , 焦点 分 别 是 xX = wx 和 2 = Are 为 简单 起 见 , 设 Hxr = jy = 0。 
当 p = 0 时 , 椭圆 的 长 轴 和 短 轴 分 别 平行 于 x 轴 和 % 轴 , 我 们 知道 此 时 和 了 是 独立 的 。 如 果 
p =0 且 ox = oy, 此 时 椭圆 退化 为 一 个 圆 。 图 4.3-4 给 出 了 许多 示例 。 
从 式 (4.3-27) 得 到 的 边缘 概率 密度 函数 x(xX) 和 fy(y) 不 依赖 于 参数 p, 这 有 些 让 人 惊 
奇 。 为 了 证 明 这 个 结论 , 我 们 计算 如 下 : 
Jx(z) = | IXY (9)dy 


为 简单 起 见 , wx = Ar = 0。 上 面 这 个 积分 看 上 去 有 些 复杂 , 但 按照 下 面 三 个 步骤 计算 起 来 就 相 
对 容易 : 

1. 把 所 有 与 y 不 相关 的 因子 从 积分 表达 式 中 提取 出 来 。 

2. 把 指数 部 分 凑 成 完全 平方 表达 式 ( 人 参见 附录 A 中 “完全 平方 表达 式 ” ) 。 

3. 对 于 5 > 0 和 实数 y, 有 如 下 的 结论 成 立 : 


1 [和 1 /ya\” Pe 
| |) | 


实际 上 , 经 过 步骤 2 就 可 以 得 到 





@ 要 想 观 测 到 相关 性 为 0 的 两 个 随机 变量 , 这 在 实际 的 统计 学 中 是 非常 不 可 能 的 , 即使 二 者 在 理论 上 是 不 相关 的 。 有 些 夸 
夸 其 谈 的 人 试图 用 微小 的 随机 相关 性 来 证 明 一 个 事件 相关 性 为 0, 这 种 思路 其 实 并 不 合理 。 
@ 第 一 次 学 习 时 可 以 不 用 阅读 带 * 号 的 内 容 。 
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1 二 六 1 9 —(y— proy/ox) 








(4.3-30) 
上 式 大 括号 中 的 表达 式 值 为 1, 因此 有 
2 
Am= -局 一 | 二) | (4.3.31) 
通过 同样 的 过 程 可 以 计算 出 f(y) 
i Ey 
r= 让 (过 (4.3-32) 


如 我 们 前 面 所 说 的 , 如 果 p = 0, 那么 和 和 了 是 相互 独立 的 。 另 一 方面 , 如 果 p 一 上 1, 和 和 工 
趋向 于 线性 相关 。 为 简单 起 见 , 令 ox = or 4 o, jx = Jy = 0, 那么 等 密度 线 变 为 
Z2 一 2pzy 十 好 = c20? 
当 p >0 时 这 是 一 个 与 x 轴 成 45? 角 的 椭圆 , 当 p <0 时 成 135" 角 。 通 过 下 面 的 坐标 变换 , 可 以 
得 到 一 个 在 x-y 平面 上 旋转 45" 角 的 坐标 系 。 
Z 十 2 站 三 rT—Yy 


V2 V2 





VU 一 





此 时 等 密度 线 变 为 

v1 p+w ll+p] = oe 
这 个 椭圆 的 长 轴 和 短 轴 分 别 与 % 轴 和 %w 轴 平 行 。 如 果 p > 0, 长 轴 与 v 轴 平 行 ; 如 果 p < 0, 长 轴 
与 w 轴 平 行 。 当 p 一 + 1 时, 长 轴 变 得 无 限 长 , 此 时 概率 密度 函数 集中 收拢 为 直线 y = x(p 一 1) 
或 y =-Z(p 一 -1)。 





图 4.3-4 联合 高 斯 密度 函数 的 等 密度 线 (和 = 了 = 0)。(a) ox = or,p=0; 


(b)ox >0or,p=0;(c)or <or,p=0;(d)oxr =or,p>0 
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最 后 , 引入 下 面 两 个 新 的 随机 变量 
VE(X+Y)/vV2 
WW 全 (EY) 
当 p 一 1 时 有 





或 者 , 等 价 的 表达 式 为 





fxy (7,y) 一 有 ep| (2)" x0 — 7) 
合 高 斯 的 概率 密度 函数 退化 为 单 变量 的 函数 ( 即 直线 y = x), 这 是 因为 当 p 一 1 时 子 等 同 于 


7Y。 我 们 将 详细 推导 过 程 留 给 学 生 作为 练习 。 
图 4.3-5 给 出 了 计算 机 生成 的 联合 高 斯 概率 密度 函数 和 它 的 等 密度 线 , 其 中 jx = py = 0， 


ar =Gy = 2 p = 0.9。 








4.3-5 (a) 有 对 = 了 =0,ox=oy=2,p = 0.9 时 的 联合 高 斯 概率 密度 函数 ; (b) 等 密度 线 示 意图 


4.4 切 比 雪夫 和 施 瓦 茨 不 等 式 
切 比 雪夫 @ 不 等 式 给 出 了 一 个 界限 , 告诉 我 们 一 个 随机 变量 瑟 偏离 它 的 均值 wx 的 概率 。 
定理 4.4-1 ( 切 比 雪夫 不 等 式 ) 设 及 为 任意 一 个 随机 变量 , 均值 为 x， 方差 为 有 限 值 o。 


那么 对 于 任意 的 6 > 0 
PIIX—-Lx|z0]< 请 (4, dl) 
证 明 通过 下 面 的 步骤 可 以 很 容易 的 证 明 式 (4.4-1) 
o2 全 | (rz — X)fx(r) dz > | (w= X)*fx(r) dr 
Lge |z—X|>6 


三 02 | fx(r)dzr 
Iz—X|>6 


= 62P[|X —X|= 丰 





Q@”Pafnuty L. Chebyshev(1821 -1894), 即 切 比 雪夫 , 俄罗斯 数学 家 。 
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因为 || 卫 - 忆 | 宇 6| U 11 对 -及 | < 6| = 人 2( 人 2 表示 一 个 确定 事件 ), 而 且 这 两 个 取 并 集 的 事 
件 是 不 相交 的 ,因此 有 


国运 2 
PIX 一 忆 < 引 >1 一 豆 (4.4-2) 


有 的 时 候 , 用 og 来 表示 6 更 方便 一 些 , 即 6 A kao, 其 中 是 一 个 常数 D0。 此 时 式 (4.4-1) 和 
式 (4.4-2) 分 别 成 为 


-一 1 
PIIX -XI>ko] < 证 (4.4-3) 


PIX—X|I<kol>1- 33 (4.4-4) 

例 4.4-1 (一 个 高 斯 随机 变量 与 均值 的 偏差 ) 设 卫 : N(jwx, o ) 。 请 把 已 1 和 -HUxrl < ko] 
和 P[1 关 -jx1 宇 ko] 同 切 比 雪夫 限 (CB) 相 比较 。 

解 ” 根 据 式 (2.4-14d) 和 式 (2.4-1l4e), PIlX -Mx| <ko] = 2erf(k), P[| X -x1 宇 
kao] = 1 一 2erf(k), 其 中 函数 erf(k) 的 定义 参见 式 (2.4-12) 。 再 通过 表 2.4-1, 式 (4.4-3) 和 
式 (4.4-4)， 结果 如 表 4.4-1 所 示 。 

从 表 4.4-1 可 以 看 出 , 切 比 雪夫 限 并 不 是 很 好 , 但 是 对 于 任意 随机 变量 及， 只 要 og? 存在 ， 
就 需要 记 住 有 这 个 界限 存在 。 

还 存在 着 切 比 雪夫 不 等 式 的 一 些 扩展 四 ,我 们 接 下 来 将 学 习 其 中 一 个 。 


表 4.4-1 
k PllX-Xl<ko] CB PIIX- XlI>ko] CB 
0 OPMFP(k) 0 1 1 
0.5 0.383 0 0.617 1 
1.0 0.683 0 0.317 1 
1.5 0.866 0.556 0.134 0.444 
2.0 0.955 0.750 0.045 0.250 
2.5 0.988 0.840 0.012 0.160 
3.0 0.997 0.889 0.003 0.111 
马尔 可 夫 不 等 式 
考虑 一 个 非 负 的 随机 变量 对 , 其 中 x < 0 时序 (x) = 0, 此 时 可 以 运用 马尔 可 夫 不 等 式 
EIX 
PIX 6]< (4.4-5) 


在 切 比 雪夫 限 中 同时 包含 了 的 均值 和 方差 , 而 马尔 可 夫 限 中 只 涉及 了 头 的 均值 。 
式 (4.4-5) 的 证 明 
五 [X] = | rfx(r)dr = | Tfx(r)dr=0 | fx(z) dz 
> 6PIX 6] 
稍 做 变换 即 可 得 到 式 (4.45)。 式 (4.45) 给 出 了 一 个 界限 , 告诉 我 们 总 体 中 大 于 6 的 那 部 分 的 概率 。 





四 当 k 或 8 很 小 时 , 切 比 雪夫 不 等 式 就 不 太 有 用 。 
回 参见 Davenport[4 -2,p.256]。 
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例 4.4-2 (劣质 电阻 器 ) 假 设 生产 出 了 一 批 低 质量 的 1000 Q 电阻 , 通过 测试 与 统计 分 析 
这 批 电阻 的 均值 确实 为 1000 Q, 但 是 有 许多 电阻 偏离 这 个 均值 。 假 设 电 阻 超过 1500 0Q 为 废 
品 , 请 计算 这 批 电 阻 中 废品 的 比例 最 大 为 多 少 ? 
解 ” 因 为 ux = 1000, 8 = 1500, 我 们 可 得 
1000 
PIX = 1500] < Tom = 8 


因此 ,排除 其 他 因素 ,生产 厂家 敢 确 保 废 品 率 不 会 超过 67% 。 
施 瓦 茨 不 等 式 

在 例 4.3-17 中 已 经 出 现 过 施 瓦 茨 不等式 的 概率 表达 式 , 在 这 里 我 们 再 次 给 出 表达 式 
如 下 : 

Cov? [X,Y] < ECX — px)3]EICY — py)9 
当 且 仪 当 了 是 闻 的 线性 函数 时 ,上 式 才能 取 等 号 。 对 不 等 式 两 边 同 时 求 平方 根 可 知 ,， 两 个 随 
机 变量 方差 乘积 的 平方 根 是 它们 协 方差 幅度 的 上 限 , 即 
|Cov[X,Y]| < (cy 

接 下 来 , 将 要 了 解 施 瓦 茨 表达 式 的 另外 一 种 表达 式 , 这 在 信号 处 理 和 随机 过 程 中 经 常用 
到 。 考 虑 两 个 非 随机 ( 即 确定 性 ) 函数 及 和 g, h 和 g 不 一 定 是 实 函 数 。 当 积分 存在 时 , 定义 函 
数 卫 的 范 数 为 


yu 


网 1/2 
us (| sora) (4.4.6) 
同样 地 ,用 (h, 9) 表示 丸和 9 的 点 积 或 内 积 ,定义 如 下 : 


(m9) S| no's)ar 


-ec (4.4-7) 
= (g,h)” 
施 瓦 获 表达 式 的 确定 性 表达 式 此 时 为 
|(n,g9)| < llallllgl (4.4-8) 


当 且 仅 当 天正 比 于 9 时 , 即 h(x) = ag(x), a 为 一 个 常数 ， 上 述 不 等 式 取 等 号 。 为 了 证 明 
式 (4.4-8), 可 将 Ah(x) + g(x) 看 成 变量 和 的 函数 





IAh(z) + g(z))? = API2 + A(h,g) + A*(h,g)* + lgl? =0 (4.4-9) 
如 果 令 
__ (0)” 有 
A= — hI (4.4-10) 


那么 式 (4.4-8) 得 证 。 对 于 实 随机 变量 , h(X) 和 g(X) 是 和 的 实 函 数 , 此 时 式 (4.4-8) 仍 然 
成 立 , 此 时 范 数 和 内 积 的 定义 需要 修改 为 如 下 形式 : 


Il? 全 | w(x) ar = EX) (4.4-11) 


DD H. Amandus Schwarz(1843 -1921) ， 即 施 瓦 蒋 ,， 德国 数学 家 。 
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人 六 | h(z)g(z)fx (z) dz = EIh(X)g(X) (4.4-12) 
此 时 可 得 
IEIh(X)g(X)]| < (EIR?(X)]) ?Elg*(X)))? (4.4-13) 
大 数 定理 “ 切 比 雪夫 不 等 式 的 一 个 重要 应 用 是 用 来 证 明 弱 大 数 定理 (LLN) ， 即 告诉 我 们 
在 什么 条 件 下 样本 均值 收敛 于 总 体 均值 。 


例 4.4-3 ( 弱 大 数 定理 ) 设 总 ，…，, XX 为 独立 同 分 布 的 随机 变量 , 均值 为 Kx， 方差 为 cx。 
假设 我 们 并 不 知道 wx (或 ox) 的 具体 数值 ， 考虑 如 下 的 样本 均值 估计 器 了 : 


Al 所 
bn SF 
?一 1 


用 上 面 的 结果 作为 均值 wx 的 估计 值 。 利 用 切 比 雪夫 表达 式 ， 可 以 证 明 几 , 是 jx 的 渐进 完美 估 
计 值 。 首 先 ， 可 以 计算 如 的 数学 期 望 如 下 : 


lor) = D> be 
一 于 
= "Wx 


= px 





根据 切 比 雪夫 不 等 式 [参见 式 (4.4-1) ] 可 得 

Plljin — 1x|z0] <oX /no 
很 显然 , 对 于 任意 的 6 > 0, 可 以 取 足 够 大 的 n 来 使 得 表达 式 成 立 。 因 此 对 于 任意 6 > 0, 有 下 
面 的 结论 : 

lim Pllfin — kx|>60]=0 
在 这 种 情况 下 ,如 果 6 非常 小 , 那么 nl 就 需要 取 很 大 的 值 才 能 保证 事件 11 J, -jx1 宇 6| 的 概 
率 足 够 小 。 这 种 类 型 的 收 钙 称 为 依 概 率 收 敛 ， 在 第 8 章 我 们 还 会 详细 讲解 。 

大 数 定理 是 估计 jwx 的 一 个 理论 依据 。 根 据 大 数 定理 , 一 个 实验 人 员 就 可 以 用 次 测量 的 

样本 均值 来 作为 未 知 数 学 期 望 忆 [及] = jwx 的 一 种 估计 。 


有 的 时 候 , 也 可 以 由 概率 密度 函数 来 推导 出 不 等 式 。 下 面 用 一 个 例子 来 进行 说 明 , 这 个 例 
题 是 由 Yongyi Yang 设计 的 。 





@ 估计 器 是 观测 值 忆 ,到 ，…, XX 的 一 个 函数 ,可 用 来 估计 分 布 的 某 种 参量 。 估 计 器 也 是 一 个 随机 变量 。 如 果 把 一 个 特定 
的 值 ( 即 一 种 实现 ) 输 入 估计 器 , 那么 得 到 的 输出 结果 就 称 为 一 个 估计 值 。 在 第 6 章 将 会 详细 讨论 有 关 估 计 器 的 内 容 。 
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例 4.4-4 (对 称 随 机 变量 ) 设 实 随机 变量 站 的 概率 密度 函数 满足 广 (z) = fi( -x) ,因此 
下 关于 零点 对 称 分布 。 试 证 明 当 Var(1 和 1) = 0 时, 不 等 式 ox 宇 [1 1] 取 等 号 。 

解 ” 设 YAl 1。 因为 hx = 0, 因此 EB[ 严 ] = B[ 尽 ] = J +o% = o%。 同样 地 , EB[ 闫 ] = 
Nrtor = 天 [ 1 XI1] toy = oaxo 因 为 o>0, 只 有 当 oy =0 时 ,到 [1X1] < 0 才能 取 等 ， 
结论 得 证 。 进 一 步 地 ,如果 四 的 概率 密度 函数 为 (2x) = 二 [5(z -4a) +8(Z+4)] ,a 是 一 个 
正常 数 ， 此 时 了 = a, oy =0, E[| X1] = ox。 


还 有 男 外 一 种 不 等 式 称 为 切 尔 诺 夫 限 (Chernoff Bound) 。 在 4.6 节 我 们 将 会 讨论 这 种 界 
限 , 不 过 接 下 来 先 学 习 和 矩 量 生成 函数 (moment - generating function) M(t) 。 


4.5 ”和 矩 量 生 成 函数 


一 个 随机 变量 的 矩 量 生成 函数 (MGF) 如 果 存 在 , 其 定义 如 下 2: 
M(t) 全 Ele:*] (4.5-1) 


= | etz fx(z) dzr (4.5-2) 


其 中 是 一 个 复 变量 。 
ee 
MI(t = etzi Px (7 (4.5.3) 


从 式 (4.5-2) 可 以 看 出 , 除了 指数 部 分 少 了 一 个 负 号 , 和 矩 量 生成 函数 就 是 概率 密度 函数 的 双边 
拉 普 拉 斯 变换 。 而 且 拉 普 拉 斯 变换 还 存在 着 一 个 逆 变 换 的 公式 , 因此 如 果 已 知 履 (t) , 等 同 于 
fx(X) 已 知 , 反之 亦 然 。 

在 这 里 介绍 路 (t) 的 原因 在 于 : (1) 可 以 用 来 很 方便 的 计算 和 的 矩 ; (2) 可 以 根据 实验 
测量 中 获得 的 矩 来 估计 .Ar(z) ; (3) 可 以 用 来 解决 其 他 很 多 问题 ， 比 如 计算 随机 变量 的 和 ; 
(4) 这 是 一 个 非常 重要 的 解析 工具 , 可 以 用 来 描述 许多 基本 结论 ， 比 如 中 心 极限 定理 ®。 

如 果 将 e” 展开 并 取 数 学 期 望 , 可 得 


Ele*]=E|1l+tX+ ~ — 





(tX)? (经 这 
+ a or 
21 nl! 
(4.5-4) 
2 2 


t 
三 1 二 my+ mg 二 二 一 ?Rn 十 
2! nl 


矩 m; 有 可 能 是 不 存在 的 ， 比如 , 对 于 柯 西 概率 密度 函数 , 除了 一 阶 矩 之 外 的 矩 都 不 存在 , 此 
时 M(t) 就 有 可 能 不 存在 。 另 一 方面 , 如 果 M(t) 存在 , 那么 通过 微分 就 可 以 很 容易 的 计算 任 
意 的 矩 。 实 际 上 ,如 果 采 用 下 面 的 记号 : 


MO 人 全 Oo， 





Q@ 专用 术语 会 有 稍 许 不 同 (参见 Feller[4 -1], p.411) 。 
回 “在 4.7 节 将 会 讨论 中 心 极限 定理 。 
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那么 有 
mk 一 M'(*) (0), BE Ls (4.5-5) 
例 4.5-1 (高 斯 分 布 的 和 矩 量 生 成 函数 ) 设 六 : Nu o), 它 的 矩 量 生 成 函数 由 如 下 表达 式 


给 出 : 


oo ，。 
Mx(t) = i | exp (3 (到 | ec dz (4.5-6 ) 
对 指数 部 分 采用 “完全 平方 法 "下 , 我们 可 以 把 式 (4.5-6) 写 为 
Mx(t) = explut + o2t2/2] 
x -| eX (- — (zo— (+ot))? ) dz 
V2Ta2 一 Do 人 20 202 ' 
其 中 ， 上 式 第 2 行 的 因子 为 1, 这 是 一 个 高 斯 概率 密度 函数 的 积分 , 其 均值 为 + ot, 方差 为 
of 因此 高 斯 矩 量 生成 函数 为 
Max(t) = exp(1ut + ot?/2) (4.5-7) 
从 这 个 结果 可 以 知道 
MI(0) = 
MK (0) 一 /12 十 a? 
例 4.5-2 (二 项 分 布 的 矩 量 生成 函数 ) 设 妃 是 一 个 参量 为 丸和 了 的 二 项 分 布 随机 变 
量 , Nn 是 实验 的 次 数 , D 是 每 次 实验 成 功 的 概率 ,9 = 1 - D。 那么 矩 量 生成 函数 为 


MB(t) = >_e tk (we k 
k=0 


(ee i 
= (pe + gq)” 
由 上 述 结果 可 得 
pe =np=h 
MO)(0) = {npe!(pe! + gq)"! +n(n— 1)p? et(pe! + gq)” *}=0 (4.5-9) 
=npg+ pn 
因此 有 
Var[B] = npg (4.5-10) 


例 4.5-3 (几何 分 布 的 给 量 生成 函数 ) 设 卫 服 从 几何 分 布 , 其 概率 质量 函数 为 Px(n) = 
a"(1 -a)u(n),n =0,1,2,…,0<Q<1。 因 此 矮 量 生成 函数 可 以 计算 为 


Mx(t -2 一 ajanetn 





@ 参见 附录 A 中 “完全 平方 法 ”。 
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=(1—a) yeon 全 二。 


二 一 
因此 , 均值 人 = My(0) = (1-a)(1-ae) ae 一 1 = a/(l -a)。 
我 们 看 到 , 如 果 所 有 的 抢 都 存在 且 已 知 的 话 , 那么 M(t) 也 是 已 知 的 [参见 式 (4.5-4) 和 
式 (4.5-2) ] 。 因 为 拉 普 拉 斯 变换 可 以 将 Mx(t) 和 Jfx(x) 联系 起 来 , 如 果 二 者 存在 的 话 , 由 
Mx(t) 来 求 fx(xX) 起 码 在 理论 上 是 可 行 的 。 在 实际 中 , 如 果 需 要 求 随 机 变量 的 概率 密度 函 
数 , X 表示 对 闻 的 第 i 次 观测 , 那么 可 以 用 如 下 的 方法 来 估计 闷 的 第 7 阶 矩 


Ej 


lv 
fm = 2X (4.5-11) 
i=1 


其 中 侈 , 是 一 个 随机 变量 , 表示 7 阶 矩 估计 器 , n 表示 观测 的 次 数 。 尽 管 多 , 是 一 个 随机 变量 ， 
随 着 n 的 增 大 其 方差 会 变 得 越 来 越 小 。 当 n 足够 大 的 时 候 , 就 可 以 认为 鸡 , 同 m, 足够 接近 
(m 是 一 个 确定 数 , 不 是 一 个 随机 变量 ) 。 

两 个 随机 变量 和 和 了 的 矩 量 生成 函数 定义 如 下 : 


Mxy (ti,t2) a EleltX+t2Y)] 





”NS (4.5-12) 
-| | pet fry (ey) dray 
同 式 (4.5-4) 的 步骤 类 似 , 通过 竹 级 数 展 开 可 得 
ce 0% AI 
Mxy (ti,t2) = 人 D, | Mij (4.5-13) 
i=0 j=0 


其 中 mi 的 定义 如 式 (4.3-13) 所 示 。 


Mn) (0 0) A Ot Mxy (ti1,t2) 
aX ? x 


Ot Qt? 





t1=ta=0 


采用 上 面 的 表达 符号 , 从 式 (4.5-12) 或 式 (4.5-13) 可 得 


min = MX¥ (0, 0) (4.5-14) 
另外 , 还 有 下 面 一 些 有 用 的 结论 
MEP(0,0) =px, MY (0,0)= py (4.5-15) 
M9)(0,0) = EI[XY], MG (0,0) = E[Y3™] (4.5-16) 
MEY (0,0) = m11 = Cov[X,Y] + px py (4.5-17) 


4.6 切 尔 诺 夫 限 


切 尔 诺 夫 限 ( Chernoff bound) 给 出 了 尾 概 率 P[X==a] 的 一 个 上 限 , 其 中 a 是 一 个 事先 给 
定 的 常数 。 对 于 任意 的 上 > 0, u(x -a) < e"”” 始终 成 立 。 假设 X 是 一 个 连续 随机 变量 , 那 
么 有 





@ ”对 于 有 些 分 布 并 不 是 所 有 的 和 矩 都 存在 。 比 如 , 前面 提 及 的 柯 西 分 布 , 除了 一 阶 矩 以 外 都 是 不 存在 的 。 
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(4. 6-1) 
= | fre -oar 
对 上 式 观 测 可 知 , 当 上 > 0 时 下 面 的 不 等 式 成 立 
PIXK>dajs< | jx(zjetz-a dz (4. 6-2) 
但 是 , 通过 式 (4.5-2) 可知 
| fer® dr = eM) (4.6-3) 


在 和 矩 量 生 成 函数 中 加 入 下 标 是 为 了 强调 它 与 X 的 联系 。 通 过 式 (4.6-3) 和 式 (4.6-2) 可 得 
PI[IX =a <e "Mx(t) (4.6-4) 
求 出 上 式 右 边关 于 t 的 最 小 值 , 这 个 最 小 值 就 是 这 个 不 等 式 的 最 紧 约 束 , 也 称 为 切 尔 诺 夫 限 。 
接 下 来 , 我 们 将 通过 一 些 例 题 来 讲解 。 
例 4.6-1 (高 斯 分 布 的 切 尔 诺 夫 限 ) 设 及: N(j, o”), 求 P[X 三 a] 的 切 尔 诺 夫 限 , 其 中 
Q > No 利用 式 (4.5-7) 和 式 (4.6-3) 可 得 
PIX > a] < e—(a—u)ttot?/2 
对 不 等 式 右 边关 于 t 求 导 求 最 小 值 , 此 时 上 = (Q -- 几 )/o 。 因此 切 尔 诺 夫 限 为 
PIX za <e (Wt /2 (4.6-5) 
离散 随机 变量 同样 也 存在 切 尔 诺 夫 限 。 例 如 , 假设 随机 变量 对 的 取 值 为 X= i, = 0,1， 
2，…, 概率 值 为 PLX = i A Px(%)。 对 于 任意 的 整数 nn 和 k, 定义 如 下 : 


1， 如 全 此 


u(n—k) = 人 其 他 
根据 上 面 这 个 定义 可 得 


P= 2 Px (n) 
= 5 Pen)u(n -月 


DO 
< >》 Px (n)et(™—&) t=0 


其 中 上 面 最 后 一 步 的 推导 用 到 了 下 面 的 结论 : 


et(n-k) > wu(n — k), t 过 0 
我 们 注意 到 


oo oo 
DD Px) = et DS Pr(n)e” 
n=0 


n=0 


二 eMx(t)  【( 根 据 式 4.5-3)] 
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因此 可 得 下 面 的 结论 
PIX =k] <e *Mx(t) (4.6-6) 
同 前 面 类 似 , 对 式 (4.6-6) 右 边 取 最 小 值 就 可 以 计算 出 切 尔 诺 夫 限 。 我 们 仍然 用 一 个 例题 来 讲解 。 
例 4.6-2 ( 泊 松 分 布 的 切 尔 诺 夫 限 ) 设 全 是 服从 泊 松 分 布 的 随机 变量 , 分 布 参 数 a > 0。 
试 计 算 Px(k) 的 切 尔 诺 夫 限 , 其 中 > Q。 根据 习题 4.39 可 知 矩 量 生成 函数 为 


Max(t) = eole -1 
以 及 
etk Mx(t) 一 eraelae —A] 
邻 导数 为 0 
dt TAN _ 
mle Myx (1)] = 
令 = 如 时 取 最 小 值 ， 那 么 有 
ti, SS jn 
a 


当 a = 2,k = 3 时， 有 下 面 结论 成 立 
PIX=5]<e ?exp[5 — 5ln(5/2)] 
<0.2 


4.7 特征 函数 


如 果 我 们 把 式 (4.5-1) 中 的 参数 t 换 成 jw, 其 中 j A v1, 那么 就 可 以 得 到 的 特征 函数 
(CF), 具体 定义 如 下 : 
Bx(w) S Eleie*] 
co (4.7-1) 
= | fx(s)e! dr 
上 面 这 个 公式 除了 在 指数 部 分 有 个 负 号 外 ,其 实 这 就 是 fx(x) 的 傅 里 叶 变 换 。 对 于 离散 随机 
变量 , 可 以 利用 它 的 概率 质量 函数 来 定义 Bx(w) 
Dx(w) = 2_e™ Px(zi) (4.7-2) 


特征 函数 具有 和 矩 量 生成 函数 的 所 有 特性 。 傅 里 叶 变 换 在 统计 通信 理论 中 应 用 非常 广泛 ， 而 且 
由 于 式 (4.7-1) 的 逆 变 换 一 般 都 比较 容易 得 到 (可 以 通过 直接 积分 法 或 者 查询 傅 里 叶 变换 表 ， 
参见 参考 文献 [4-7] ) , 因此 在 解决 独立 随机 变量 之 和 的 问题 中 常常 会 用 到 特征 函数 。 我 们 已 
经 知道 独立 随机 变量 之 和 的 概率 密度 函数 是 它们 各 自 概 率 密度 函数 的 郑 积 。 因 此 如 果 有 2 = 
Xl +… +Xn, 其 中 X; 为 独立 的 随机 变量 , i = 1,…, 和 N, 那么 Z 的 概率 密度 函数 为 
jz(z) = fx (2) * fx (2) *.*. * fxn (2) (4.7-3) 

可 以 看 出 , 得 到 的 结果 仍然 是 卷 积 形式 。 

实际 上 , 计算 式 (4.7-3) 是 比较 麻烦 的 。 但 是 , 我 们 通过 对 傅 里 叶 变 换 的 学 习 可 知 ， 卷 积 
的 傅 里 叶 变 换 等 于 各 个 独立 变换 的 乘积 。 接 下 来 用 一 些 例 子 来 进行 说 明 。 
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例 4.7-1 (和 的 特征 函数 ) 设 Z 和 4X + 避 ， 各 自 的 概率 密度 函数 分 别 为 fx (XY) , fix.(X) 和 
fz(X)。 试 证 明 Ds(w) 二 Px (w) Dxr(w), 
解 ” 根 据 3.3 节 的 结论 [参见 式 (3.3-15)] 可 知 
fz(2) = | fxi(z)fxs(z— zx) dr 


相应 的 特征 函数 为 


Co 


Dz(w) = | ejwz | fxi(T)fx,(z— 71) dzr| dz 


一 co 


三 | fx (7) | fxs(z2 — TZ)el’*dzr dz 


进行 变量 替换 aw 人 z - 2， 我们 可 以 得 到 变量 之 和 了 的 特征 函数 
Dz(w) = Dx (w) Px, (w) 
利用 数学 归纳 法 , 可 以 将 这 个 结论 可 以 扩展 到 N 个 随机 变量 的 情况 。 如 果 2 = XI +… +Xw， 
那么 名 的 特征 函数 为 
Dz = Dx (WDx, (0) .Dxn(%) 


例 4.7-2 (独立 同 分 布 随机 变量 之 和 的 特征 济 数 ) 设 习 ; 是 一 个 独立 同 分 布 的 随机 序列 ， 
且 关 : N(0, 1), i=1,…, NN。 试 计算 下 面 表达 式 的 概率 密度 函数 : 


A N 
Za DX 
t=} 


解 ” 可 以 用 式 (4.7-3) 来 计算 Z 的 概率 密度 函数 。 另 一 方面 用 Bx (w) 来 表示 XX, 的 特 
征 函 数 ,那么 有 如 下 结论 : 





Dz(w) = Dx (w) xX: x Dxn (w) (4.7-4) 
但 是 , 因为; 是 服从 NN(0,1) 的 独立 同 分 布 随 机 变量 , 因此 所 有 XX; 的 特征 函数 都 是 相同 的 ， 
因此 我 们 定义 Bx(w) A Bx (w) = … = Bx(w)。 所 以 有 
Dx (w) -=| e- #7 ejvr qz (4.7-5) 
_o0 V2T 
通过 对 指数 部 分 凑 完 全 平方 表达 式 ， 可 以 得 到 
1 Wp A 
Dx(w) = 一 一 e 一 二 [rz 一 2jwz+(jo) 一 (jo) ] qx 
ls 
os) ede 
_oo V2T 


可 以 把 上 面 的 积分 值 看 成 “高 斯 概率 密度 函数 "下 方 的 面积 ,而 且 该 分 布 的 “均值 "为 jo, 因此 
积分 结果 为 10。 因 此 可 得 及 的 特征 函数 为 


所 以 Z 的 特征 函数 为 
Dz(w) = [Dx (w)]" = eine (4.7-6) 


@ ”如果 对 这 个 结果 不 很 理解 , 可 以 在 复 平面 上 对 这 个 积分 进行 严格 的 描述 。 
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通过 Bzs(w) 的 形式 可 知 . 户 (z) 一 定 也 是 高 斯 的 。 为 了 计算 fz(z)，, 我们 将 用 到 傅 里 时 逆 变 换 
的 公式 
1 


fz(z) = pe 
来 以 适当 的 因子 后 , 将 式 (4.7-6) 代 入 式 (4.7-7) 可 得 


二 
fz(z) = es 


因此 可 以 看 出 . 户 (z) 确实 是 高 斯 的 。2 的 方差 是 Nn, 均值 为 0。 
例 4.7-3 (均匀 分 布 随机 变量 之 和 的 特征 函数 ) 设 和 和 了 是 两 个 独立 分 布 的 随机 变量 ， 
它们 的 概率 密度 函数 为 


上 dz(w)jeriozdow (4.7-7) 


e 一 去 (2/m) 





Jx(z) = fy(7) = rect (=) 
试 利用 特征 函数 法 来 计算 2 人 和 + 了 的 概率 密度 函数 。 
解 ”当然 可 以 用 fy(X) 卷 积 fy(Yy) 来 计算 fz(z)。 但 是 , 在 这 里 我 们 要 用 特征 函数 法 来 计 
算 fz(z), 即 


fz(z) = 


De 
二 一 | Dx (wDy (vw)e ”dw 
2m J 


其 中 
Dx (w) Dy (w) = oz(w) 
因为 信和 了 的 概率 密度 函数 是 相同 的 ,因此 可 以 写成 
Pw) S Dx(w) = Py(w) 


a/2 
3 | ejvr dz 





Q J-a/2 
_ sin(aw/2) 
aw/2 
所 以 有 
/sin(aw/2)\? fz(2) 
Dz(w) = (Te ) (4.7-8) 1 
以 及 
1 [% 
f(z) = | Dz(w)e dw 
I (4. 7-9) 一 和 0 a Zz 
= (1 一时)rect (去 ) 图 4.7-1 2Z = 久 + 了 的 概率 密度 函 
a a 2a 
数 ,其 中 随机 变量 和 
结果 如 图 4. 7-1 所 示 。 还 有 一 种 更 为 简便 的 方法 来 得 到 7 是 独立 的 ,都 服从 ( -a/2， 
式 (4.7-9) 的 结果 ， 那 就 是 查 表 来 计算 式 (4.7-8) 的 倩 里 时 a/2) 区 间 的 均匀 分 布 
( 逆 ) 变换。 


对 于 矩 量 生成 函数 的 情况 , 我 们 可 以 对 特征 函数 求 微分 来 计算 各 阶 和 矩 ， 当 然 前 提 是 这 些 矩 
都 是 存在 的 。 如 果 将 exp (jwX) 进行 寡 级 数 展开 并 取 数学 期 望 , 可 得 如 下 结果 : 
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ce (jw)" (4.7-10) 
“上 ， WM 
从 式 (4.7-10) 很 容易 得 到 
mn = 元 2X (0) (4.7-11) 
其 中 我 们 用 到 了 如 下 的 表达 符号 
an) 0 全 d” Dx | 
N (0) = jan Px(%) 本 


例 4.7-4 ( 撼 的 计算 ) 试 计算 了 = sin@ 的 前 几 阶 和 矩 ,， 其 中 @: U[0, 2m]。 
解 ” 可 以 利用 式 (4.1-9) 的 结论 。 如 果 了 = g(), 那么 有 


my =| vp = | ge)ar 
因此 有 


Eleioy] = | ejoy fy (y)dy 


1 2T 
a | ejw sin 2d0b 
2T 0 


= Jo(w) 
其 中 J(w) 是 第 一 类 贝 塞 尔 函 数 的 第 零 阶 。 J0(w) 的 震级 数 展 开 结 果 为 


n=1- (9) + 去 (9) 


可 知 所 有 的 奇数 阶 矩 都 是 0。 利 用 式 (4.7-11) 还 可 以 计算 出 如 下 结果 : 
ElY?] = ma 全 (-1)og(0) = 1 





ElY1]=ma= (+1)OK(0) = 


例 4.7-5 (独立 二 项 分 布 随机 变量 之 和 ) 设 全 和 了 是 独立 同 分 布 的 二 项 分 布 随 机 变量 ， 

分 布 参数 分 布 为 hh 和 p, 概率 质量 函数 为 
P= P(A) = (0) pg 
试 计算 2 = 及 + 了 的 概率 质量 函数 。 

解 ” 因 为 了 和 了 的 取 值 只 能 是 非 负 的 整数 , 因此 Z 必然 也 是 非 负 的 整数 。 我 们 利用 这 些 
方法 来 解决 这 个 问题 ; (1) 概 率 密 度 函 数 的 卷 积 ， 其 中 涉及 冲 激 函 数 ; (2 ) 概率 质量 函数 的 离 
散 卷 积 ; (3) 特 征 函 数 ， 其 中 这 里 所 指 的 离散 卷 积 具体 如 下 : 

Pz(k) = 》 Px(i)Py(k—i) 
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不 过 在 这 里 有 些 麻烦 ， 那 就 是 二 项 式 系数 乘积 之 和 的 闭 式 解 并 不 能 立即 得 到 由 。 通 过 特征 函数 
来 计算 Z 的 概率 质量 函数 非常 容易 。 首 先 
Dx(w) = Dy(w) = > elo (2 prg™ 
k=0 | 
= (pe!® + g)” 
然后 , 根据 也 和 了 相互 独立 的 特性 , 我 们 可 以 得 到 特征 函数 。 
Dz(w) = Elexp jw(X 十 三 )] 
= Elexp(jwoX)lElexp(jwY)] 
= (pel® + g)” 
因此 , Z 也 服从 二 项 分 布 , 分 布 参 数 为 2 和 PD， 也 就 是 


Pz( 同 三 bd pq-k, k=0,...,2n 
通过 特征 函数 来 计算 得 到 Pz() ,那么 就 可 以 计算 前 面 的 乘积 结果 为 
2n 和 n n 
(x= (en 
还 可 以 进一步 推广 这 个 例题 : 如 果 闷 ,和 已，…, 怀 是 独立 同 分 布 的 二 项 分 布 随机 变量 ,分布 参 
数 为 nn 和 Pp。 那么 Z = ,Xi 也 服从 二 项 分 布 , 分布 参数 为 Ni 和 Dp。 不 管 入 有 多 大 ,2 始 
终 是 一 个 离散 的 二 项 分 布 随机 变量 2。 
例 4.7-6 ( 泊 松 分 布 的 方差 ) 请 计算 泊 松 分 布 随机 变量 的 特征 函数 ,再 用 得 到 的 结果 计 
算 方 差 。 设 KK 是 泊 松 分 布 随 机 变量 ,其 概率 质量 函数 为 
大 
Pk(k) = Se-ou(k), a>0 


特征 函数 表达 式 如 下 : 





可 知 ms = [有] = 于 G 久 (0) = - 四 名 (0)。 通 过 取 相应 的 导数 可 得 


DD (w) = OK(w)ajeti 
以 及 
D2) (w) = Dr (waj eti® 十 DY (w)ajetie 


= —@Dk(w)aetl® + Dk(w) (aje+ie)” 





@ 我 们 在 第 3 章 的 例 3.3-9 中 已 经 遇 到 过 这 个 问题 。 
@ 在 讲解 中 心 极限 定理 的 时 候 , 还 会 提 及 这 个 结论 。 
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所 以 有 BER'(0) =-1xa-1xo, 以 及 =a+o 吧 。 因 为 数学 期 望 人 = a, 所 以 方差 为 
0?2 = m2 一 12 
三 QQ 十 Q2 -= a2 
一 CC 
因此 泊 松 分 布 的 方差 等 于 其 数学 期 望 。 

由 于 泊 松 分 布 的 方差 等 于 其 数学 期 望 , 因此 其 标准 差 就 是 数学 期 望 的 平方 根 。 因 此 对 于 
比较 大 的 数学 期 望 , 其 分 布 会 相对 集中 在 均值 附近 。 从 另 一 个 角度 理解 , 泊 松 分 布 与 正 态 分 布 
并 不 相同 , 前 者 的 分 布 参数 不 是 独立 的 , 也 就 是 这 些 参数 并 不 能 随便 设置 。 

例 4.7-7 (一 个 公平 的 游戏 ) 有 一 个 叫做 “三 个 玩家 , 六 次 击 球 ” 的 博彩 游戏 , 玩法 是 这 样 
的 : 一 个 玩家 任意 选择 三 个 棒球 选手 , 如果 这 三 个 选手 击 中 球 的 次 数 累计 等 于 或 大 于 六 次 ， 那 
么 该 玩家 获胜 。 存 在 许多 种 获胜 的 组 合 ， 比 如 A 选手 没有 击 中 一 次 球 , B 选手 总 共 击 中 了 三 
次 ， 而 C 选手 也 总 共 击 中 了 三 次 。 这 三 个 选手 可 以 是 一 个 球 队 的 , 也 可 以 不 是 一 个 球 队 里 的 。 
该 博彩 游戏 的 赔 率 相同 ,如 果 玩 家 赢 了 ，, 那么 他 押 1 美元 就 可 以 收回 2 美元 。 试 分 析 这 个 游戏 
“公平 " 吗 ? 也 就 是 说 , 获胜 的 概率 接近 一 半 吗 ? 

解 ” 设 X, 习习 ， 分 别 代 表 选 手 A, B,C 击 中 球 的 次 数 。 很 显然 , 入! ,及 。 入 服从 独立 
的 二 项 分 布 ， 击 中 球 的 总 次 数 为 了 = 避 ，,X， 在 这 里 我 们 需要 计算 P[ 了 > 6] 。 为 了 简化 这 个 
问题 ,我们 假设 每 个 选手 每 次 游戏 击 球 五 次 , 他 们 的 平均 击 球 率 都 是 相同 的 , 假设 为 300( 对 
那些 不 太 熟 悉 棒 球 术语 的 读者 , 这 个 是 指 击 中 球 的 概率 为 0.3)。 根 据 例 4.7-5 的 结论 可 知 ,了 
服从 二 项 分 布 , 其 分 布 参数 为 nn = 15, p = 0.3。 因此 有 


i=15 


PE > 日 = 5 (¥ ) (30 


1 
t=6 

~ erf(6.76) — erf(0.56) 

~ 0.29 
在 这 里 我 们 用 到 了 1.11 节 的 一 个 结论 ， 即 用 高 斯 分 布 来 近似 二 项 分 布 。 可 以 看 出 ， 玩 家 获胜 
的 可 能 性 不 足 1M3。 如 果 不 考虑 这 个 可 怜 的 赔 率 ,其实 可 以 修改 一 下 这 个 游戏 使 得 对 玩家 更 
“公平 一些。 定义 一 个 随机 变量 G 为 玩家 的 收益 , 也 定义 预期 收益 为 0 的 游戏 为 公平 游戏 。 
如 果 一 个 玩家 每 次 获胜 能 净 收 入 2.45 美元 而 不 是 1 美元 ,那么 我 们 将 会 发 现 E[G] = $2.45 
x0.29 一 $1x0.71 二 0。 当然 , 如 果 [G] > 0, 那么 这 个 游戏 就 对 玩家 .有利 。 有 些 人 就 是 根 
据 这 个 准则 来 玩 国家 彩票 的 。 


联合 特征 函数 
根据 联合 矩 量 生成 函数 , 我 们 可 定义 联合 特征 函数 如 下 : 
N 
exp ( on) (4.7-12) 
i=1 


根据 傅 里 叶 变 换 的 特性 可 知 , 联合 概率 密度 函数 就 是 Bx.x,( ww ，…, wn) 的 傅 里 叶 逆 变换 ( 符 
号 相反 ), 因此 有 


Dy.xw (VW1,02, se , ON ) = 
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1 oo oo 
fx-.XN (TL1, ,TN) = [EE | Ea E Dxi..xw (OW1,... ,WN) 


N 
x exp (= Do dw1 dw2:..dwN 


i=1 


我 们 可 以 通过 求 导 来 计算 各 阶 矩 。 例 如 , 假设 站 和 了 是 任意 两 个 随机 变量 (N =2), 那么 有 


(4.7-13 ) 


mmrk SE[XY*] = (一 j))r+kowy)(0,0) (4.7-14) 
其 中 
Br+kOxy(wlw2) 
DK) 0.0 A XY 1; 2 
xy (0, 0) | (4.7-15) 





最 后 对 于 离散 随机 变量 , 可 以 用 联合 概率 质量 函数 来 定义 它们 的 联合 特征 函数 。 对 于 革 和 了 
两 个 随机 变量 , 可 得 
Dxy (w1,w2) 全 > > ej(o17ito2Y) Pyy (Ti, yj) (4.7-16) 
i 了 


例 4.7-8 (独立 同 分 布 高 斯 随机 变量 的 联合 特征 函数 ) 试 计算 卫 和 了 的 联合 特征 函数 ， 
其 联合 概率 密度 函数 如 下 : 


1 1 
fxY = py [和 十 中 
解 根据 式 (4.7-12) 的 定义 可 知 
Dxy(wW1,w2) = 元 | | e 一 去 (z? 二 妇 )ejwaz+jw22 dzdy 
对 变量 Z 和 2 都 采用 完全 平方 法 可 得 


加 2 2 二 
dxy(wloa2) 一 e (w+w2) | ee tte) 
a 2T 


9 dz 


x EL -二 2 一 2jozy+(joa)3] dy 
6 2T 


Oo Co 
一 e 一 去 (woi+w2) | -zjon)2 dT | -$jo2)? dy 
V 一 Oo 


上 2T V2T 
一 ce 一 去 (oi+w3) 
因为 单位 方差 的 高 斯 曲线 下 的 面积 为 1， 因 此 最 后 一 步 成 立 。 
例 4.7-9 (两 个 离散 随机 变量 的 联合 特征 函数 ) 试 计算 离散 随机 变量 忌 和 了 的 联合 特征 
函数 ， 其 联合 概率 质量 函数 为 


3,， k=l=0 
A 此 == 土 l1 ,= 二 0 
XY\N, = 

二 ， 天 一 1/ 一 士 1 

0， 其 他 


解 ”根据 式 (4.7-16) 可 得 
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1 


1 
GOxy(wiw2) = 为- >， ejloiktw2l) Pxy( 大 1) 


k=—11l=—1 


二 oat 十 w2) 
至 号 二 @1 十 可 cos(w1l 十 w2 


因为 wx = Mr = 0, 根据 式 (4.7-14) 和 式 (4.7-15) 可 得 





, 1 2 
ep 全 mnao = 一 (一 )2[cos ol + cos(wl + w2)] 二 
21 一 2 一 0 
A x 1 
ay Smoz = —(-j)? 了 cos(w1 + w2) = 
ol1 一 2 一 0 
A 1 
mi =—(—j) 了 cos(w1 十 2) 三 二 
w1=w0=0 3 
此 外 ,相关 系数 p 可 计算 如 下 : 
1 
J = 0.707 





oxoy 大 记 


例 4.7-10 〈 相 关 高 斯 随机 变量 的 联合 特征 函数 ) 另 外 一 个 例子 ,请 计算 忆 和 了 的 联合 特 
征 函 数 ， 其 联合 概率 密度 函数 为 








Z2 十 42 一 Se ) 


TL 
为 求解 这 个 题目 , 我 们 需要 用 到 两 个 结论 : 
(1) 高 斯 分 布 随 机 变量 2 其 均值 为 0, 方差 为 os, 那么 它 的 特征 函数 为 


Elei®*2] = exp [32 (4.7-17) 
特别 地 ,， 当 w = 工时 


Elei?] = exp -3 (4.7-18) 


结论 (1) 的 证 明 可 根据 特征 函数 的 定义 ,以 及 万 (z) = (2mo2) exp( -喜气 )， 再 用 
OZ 
附录 A 中 介绍 的 完全 平方 法 即 可 。 
(2) 如 果 忆 和 了 是 零 均值 的 联合 高 斯 分 布 随 机 变量 ,那么 对 于 任意 的 实数 ol 和 ws, 定义 
如 下 的 随机 变量 : 


上 述 变 量 是 联合 高 斯 的 , 而且 了 的 边缘 密度 函数 也 是 高 斯 的 。 
结论 (2) 的 证 明 根据 式 (3.4-11) 或 式 (3.4-12) 便 可 计算 得 到 .jpw(2，W) 。 很 容易 发 现 了 


和 了 本 是 联合 高 斯 的 , 因此 2 的 边缘 概率 密度 函数 也 是 高 斯 的 ， 并且 Z = 0。2 的 方差 可 计算 
如 下 : 
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Var(2) = E[(w1X +w2Y)’] 
= wiVar[X] + wiVarlY] + 2w1w2 XY 
根据 ox = oy 人 1 可 得 oz = wi + wi +2w1w2po 
最 后 , 对 于 2 = wiX + wo 了 ,根据 式 (4.7-18) 可 得 
Elei(o1X+w2Y)] 一 ewf+w3+2w1w2p) (4.7-19) 
式 (4.7-19) 就 是 两 个 零 均 值 , 单位 方差 的 相关 高 斯 随机 变量 的 联合 特征 函数 。 当 p = 0 时, 随 
机 变量 变 得 不 相关 ，, 二 者 此 时 是 独立 的 , 在 例 4.7-8 中 也 有 这 个 结论 。 
可 直接 将 上 述 结 论 扩 展 到 多 个 离散 随机 变量 的 情况 。 如 果 不 采 用 敌阵 ， 此 时 的 符号 表达 
就 会 有 些 麻烦 。 


中 心 极限 定理 
经 常会 说 到 “大 量 随 机 变量 之 和 趋向 于 正 态 分 布 ", 这 个 结论 在 什么 情况 下 成 立 ? 中心 极 
限定 理 就 将 阐述 这 个 重要 的 观点 。 


中 心 极限 定理 ?一 般 是 指 : 大 量 独立 随机 变量 之 和 经 归 一 化 后 趋向 于 正 态 分 布 , 这 些 随 机 
变量 了 ，…, X, 的 均值 都 为 零 , 方差 of,…, os 都 是 有 限 值 ,同时 各 个 独立 的 方差 ox 与 
>》 0 相 比 都 很 小 , 其 中 = 1,…, mn。 对 方差 的 这 个 限制 就 是 所 谓 的 Lindeberg 条 件 , 在 
Feller 2 中 有 详细 的 讨论 。 接 下 来 我 们 将 给 出 中 心 极 限定 理 的 一 般 形式 ,并 对 一 个 特例 
给 出 证 明 。 

定理 4.7-1 设防 ,，…, ,为 NL 个 相互 独立 的 随机 变量 (标量 ), 概率 分 布 函 数 分 别 为 
Fr (Xi), Fx (wa ) 0 均值 和 方差 为 

Hx. = 0, Var[Xk] = o% 


如 果 对 于 一 个 给 定 的 & > 0, 当 妈 足够 大 时 oi 满足 


Ok. < ESn, = 1,.…,Nn 
那么 下 面 的 归 一 化 和 就 收 化 于 标准 正 态 分 布 。 

多 ,会 (2 十 :5 十 六 ,fsn 
在 这 里 用 1/2 + erf(z) 来 表示 , 也 即 是 limFs (2) = 1/2 + erf(z)。 这 称 为 分 布 的 收 化 性 。 


分 布 的 收敛 性 在 接 下 来 的 章节 会 讨论 。 下 面 我 们 给 出 前 面 定理 一 个 特例 的 证 明 。 


定理 4.7-2 设防, 甩 ,…, ,是 独立 同 分 布 的 随机 交 量 , 其 中 px =0, Var[ Xi] =1,1= 
1, …, nn, 那么 下 面 的 表达 式 趋 向 于 正 态 分 布 。 


zl xX; 
而 邹 





四 Abraham De Moivre 针对 伯 努 利 随机 变量 这 个 特例 , 于 1733 年 最 早 证 明 该 定理 。 该 定理 更 一 般 化 的 证 明 由 J. W. Lindeberg 
证 明 , 参见 Mathematische Zeitschrift, vol. 15 (1922), pp. 211-225。 
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同时 它 的 特征 函数 四。 满足 下 面 的 条 件 : 


lim dz (w) 一 ee 2” 
这 其 实 就 是 服从 N(0, 1) 分 布 随机 变量 的 特征 函数 。 


证 明 设 WAX/Vn, 令 Br,(w) 和 fx, (XY) 分 布 表示 如 的 特征 函数 和 概率 密度 函数 ， 那 
么 有 
Dw 全 Eleiow:] 
二 Elei(%/V™)X:] 


(U 
= 信访 
因为 Bx (w) 和 Bw (w) 并 不 取决 于 变量 1， 因 此 我 们 可 以 写成 Bx (w) A Bx(w)， 


Dw(w) A Bw(w)。 根 据 微 积分 知识 可 知 , 任何 一 个 函数 B(w) 如 果 在 wo 附近 导数 存在 的 话 ， 
那么 该 函数 可 展开 成 泰勒 级 数 
)= 1oo (oo)(@ — wo)! 


l=0 
其 中 GB (wo) 表示 DB(w) 在 wo 处 的 第 1 阶 导数 。 进 一 步 地 ,如 果 在 区 间 [wo，w] 里 导数 都 是 
连续 的 ,那么 B(w) 就 可 以 用 一 个 有 限 长 度 的 泰勒 级 数 表示 ,也 即 是 


L—1 
0) = Do (oo) (0 wo0)! + AL(w) 
l=0 


其 中 因子 A (w) 表达 式 为 


专 是 区 间 [wo, w] 中 的 某 个 点 。 将 这 个 结果 应 用 于 Bw(w) ,其 中 mo = 0, 那么 有 


Dw (w) = 1 ejwz/vm fy (T) dz 











dy (0) = 1 
DW (人 二 上 j A fxr) dr 一 0 
Oo w=0 
DO (0 = [让 ejoz/ jx(z) dz i 
9 w=0 & 
因此 可 得 
1 2 R2(w) 
多) 一: 27 nvVn 
其 中 


Do 
R’(w) 人 jw | rT3eir/Vn fx (zr) dr/6 
一 co 


因为 Z。 = 加 ,Wi, 我 们 可 以 得 到 
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Pz, (2) = [Dw (2)]" 
或 者 
noz (w) = nln Dw(w) 
现在 我 们 将 用 到 一 个 结论 ,， 对 于 任意 的 hh, 只 要 满足 | hl < 1, 就 有 

















让 六 
In(1+h)=h— 3 十 本 
对 于 任意 固定 的 w, 可 以 选择 一 个 足够 大 的 员 使 得 下 面 表 达 式 成 立 ( 设 RA Ri(w)): 
-人 
2n nvn 上 
根据 上 面 的 结论 
i 6 肥 
lIn®z,(w%)= nln E a 十 二 
ww Rs 1 oo RN\? 1 ww BR R 
NN nvi 2 on navi) 3\ an navi) 
= _o 十 涉及 的 因子 mL/2 m/s 
一 可 十 多 项 天 he 
因此 有 
2 
lim [In ®z, (w)] = - 字 
=w?/2 


lim ®z,(w)=e 
nO0 


上 式 就 是 N(0, 1) 分 布 随机 变量 的 特征 函数 。 如 果 limfz, (z) 是 正 态 分 布 的 概率 密度 函数 ， 那 
么 下 面 的 等 式 就 应 该 成 立 : 


lim oz (w) 全 lim ( | fo, (soodz) 
Nn—=00 n—00 86 
oo 四 
| (lim fz.(2)) eJ”zdz 
_o0 \ 一 co 


但 是 ， 求 极限 运算 和 积分 运算 并 不 是 总 能 交换 顺序 的 ， 因 此 我 们 不 能 认为 马 , 的 概率 密度 函数 
就 收敛 于 和 (0, 1) 。 实 际 上 , 从 例 4.7-5 知道 个 独立 同 分 布 的 二 项 分 布 随机 变量 之 和 仍然 服 
从 二 项 分 布 , 而 且 N 多 大 都 无 所 谓 。 此 外 ,二 项 分 布 的 概率 密度 (质量 ) 隐 数 是 非 连 续 的 ,而 
高 斯 分 布 的 概率 密度 函数 是 连续 的 , 不管 人 有 多 大 这 个 事实 也 是 无 法 改变 的 。 但 是 ,当即 比 
较 大 时 ， 二 项 分 布 概率 密度 函数 的 积分 与 高 斯 概率 密度 函数 的 积分 很 相像 。 这 就 是 为 什么 说 
2Z 的 概率 密度 函数 趋向 于 高 斯 分 布 ,而 不 说 等 于 高 斯 分 布 。 

聪明 的 读者 可 能 会 发 现在 前 面 的 推导 过 程 中 , 我 们 只 证 明了 特征 函数 收 化 于 正 态 分布 , 而 
没有 证 明 概 率 分 布 函 数 收 敛 于 正 态 分 布 。 为 了 证 明 后 面 这 个 结论 ， 我们 需要 用 到 连续 性 定 
理 @ ,该 定理 具体 为 : 对 于 随机 序列 Qi , 其 特征 函数 和 概率 分 布 函数 分 别 为 @i(w) 和 F(z)， 


@@ 参见 Feller[ 4-1, p.508]。 
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=1,…,n, 此 外 BD(w) A lim®, (w), DBD(w) 在 w = 0 处 连续 , 那么 有 F(z) = limF, (2)。 
例 4.7-11 (中 心 极限 定理 的 应 用 ) 设 XX, 是 一 个 独立 同 分 布 的 随机 序列 , i = 1，…,n， 
BE[Xi] = px, Var[Xi] = oh。 设 YA "Xi, 其 中 仙 足 够 大 。 试 根据 中 心 极限 定理 来 计算 


Pla <Y<6b], 其 中 ZA(Y-ElY])/oy, oy > 0。 
Pla<Y=<0= Pla<Z<0 





其 中 
/AQ 一 El[lY] 
GQ 二 Oo 
OY 
OY 
以 及 有 
oy = Vnox 


注意 到 名 是 一 个 零 均值 , 方差 为 1 的 高 斯 分 布 随 机 变量 , 在 这 里 用 到 了 大 量 独立 同 分 布 随 机 变 
量 之 和 。 实 际 上 , 对 适当 进行 一 下 数学 变换 可 得 


lo/X-khx 
z= 万 Ox ) 


因此 有 下 面 的 表达 式 成 立 
Pla<Zs0 ~ | e-3* dz 

把 中 心 极限 定理 称 为 “ 正 态 收敛 性 定理 ”可 能 更 合适 一 些 , 不 过 在 中 心 极限 定理 中 “中 心 ” 
这 个 词语 是 为 了 强调 概率 分 布 函 数 与 正 态 概 率 分 布 函数 在 其 中 心 附近 收敛 , 也 即 是 在 其 均值 
附近 收敛 。 而 实际 上 , 尽管 所 有 的 概率 分 布 函数 都 会 在 + % 处 收敛 , 在 首尾 两 端 中 心 极限 定 
理 给 出 的 估计 值 都 非常 糟糕 , 除非 这 个 值 本 来 就 很 小 。 在 习题 4.59 中 会 详细 描述 这 个 现象 。 

有 一 种 基于 计算 机 的 工程 分 析 方 法 称 为 蒙特 卡 罗 仿 真 , 经 常 需要 用 到 随机 数 。 有 许多 软 
件 可 以 用 来 产生 随机 数 , 不 过 这 些 产 生 的 随机 数 并 不 是 真正 随机 的 。 因 为 这 些 随机 数 都 是 通 
过 某 种 确定 性 的 算法 产生 的 , 这 意味 着 任何 一 个 人 利用 该 算法 , 都 可 以 产生 同样 的 随机 数 。 这 
种 随机 数 称 为 伪 随 机 数 , 如 果 仿 真 并 不 需要 很 多 的 随机 数 , 那么 这 些 随机 数 对 这 个 仿真 实验 就 
是 充分 的 。 而 对 于 那些 需要 很 多 随机 数 的 仿真 实验 而 言 ， 比 如 模拟 原子 过 程 , 此 时 就 很 不 容易 
找到 一 个 能 产生 充分 数量 的 随机 数 发 生 器 。 很 多 情况 下 产生 的 随机 数 都 是 可 重复 的 , 也 就 是 
说 这 些 随机 数 是 周期 的 , 高 度 相 关 的 , 或 者 存在 某 种 程度 的 偏差 。 此 外 , 如 果 采 用 一 个 天 然 的 
随机 数 发 生 器 (比如 和 射线 源 中 发 射 光 子 的 数目 , 或 者 光电 探测 器 在 电子 带 中 探测 到 的 光电 子 
数目 ) 也 会 遇 到 一 些 麻 烦 ， 此 时 我 们 并 不 能 确切 知道 到 底 是 什么 规律 在 起 作用 。 而 且 即 使 我 们 
确切 知道 了 是 什么 规律 ,光子 或 光电 子 的 行为 也 会 影响 随机 数 的 分 布 。 

我 们 假设 在 大 多 数 的 个 人 计算 机 软件 平台 上 都 可 以 运行 均匀 分 布 随机 数 发 生 器 (URNG ) ， 
而 且 产 生 的 均匀 分 布 随机 数 卫 是 无 偏 的 。 如 果 假 设 这 些 随机 数 服从 (0, 1) 区 间 的 均匀 分 布 ， 
那么 接 下 来 的 问题 就 是 : 如 何 把 这 些 产 生 的 均匀 分 布 随机 数 转换 为 高 斯 分 布 的 随机 数 ? 我 们 
可 以 用 中 心 极限 定理 来 实现 这 个 目的 , 具体 步骤 为 : 假设 总 是 这 个 均匀 分 布 随机 数 发 生 器 产 
生 的 第 i 个 随机 数 , 那么 当 n 足够 大 的 时 候 ( 比如 %>10), Z 将 近似 服从 高 斯 分 布 。 


204 概率 、 统 计 与 随机 过 程 ( 第 四 版 ) 


记 志 所 下 os 二 光 
2Z 的 概率 密度 函数 其 实 是 个 单位 冲 激 的 卷 积 , 卷 积 的 结果 非常 类 似 于 高 斯 分 布 。 但 在 首尾 
两 端 二 者 并 不 相同 , 这 是 因为 在 这 里 0 < 2Z < n, 而 如 果 2Z 是 真正 的 高 斯 分 布 随 机 变量 的 话 ， 
其 分 布 区 间 应 该 是 -ww <2Z < %。 


4.8 一 些 补充 例子 


例 4.8-1 设 忆 是 9 个 独立 同 分 布 的 伯 努 利 随 机 变量 ,1 = 1,…, n, 其 概率 质量 函数 为 


Px (2) = 本 人 | -2 Py 


试 证 明 Z = 了 > X, 服 从 二 项 分 布 , 且 概率 质量 函数 为 b(k; n, p) 全 (1 jee 


解 ” 伯 努 利 分 布 的 特征 函数 为 Dx (w) 三 2 ep | -p)! -7 = per + g， 其 中 人 s Ls 
根据 式 (4.7-4) 的 结论 可 知 


nn 


Bz(w)= [e+D =(pe +1)" 


t=1 


得 到 的 结果 与 例 4.7-5 中 二 项 分 布 随机 变量 的 特征 函数 是 一 致 的 。 
例 4.8-2 设 Z 服 从 二 项 分 布 , 概率 质量 函数 为 b(k; nt, p) 4 (jp rg"* 其 中 NN 污 1, 对 


于 事件 la 2Z<6b| ,试用 中 心 极限 定理 计算 Pla 2Z<b], 其 中 a 和 b 是 常数 。 

解 ” 从 例 4.8-1 可 知 , 2 可 看 成 1 个 独立 同 分 布 伯 努 利 随 机 变量 之 和 ,因此 我 们 可 以 将 
写 为 Z = 成 +… + 及 ,其 中 [2] = np, Var[Z] = npq 沪 pq, nn 是 一 个 比较 大 的 数 。 现 在 
的 问题 就 是 如 何 将 中 心 极限 定理 用 到 这 里 。 事件 la < 2Z < bl 与 事件 


0 -np < 2-1p 5 -npl 是 等 价 的 。 通 过 变量 替换 a' AQ 二 ,六 AD 名 以 及 2 A 
(i npg vnpq | 天 Vnpg Vnpq 


Zp 又 可 以 写成 ja' < 2' <6b', 此 时 2Z' 是 一 个 零 均值 , 单位 方差 的 随机 变量 。 利 用 例 4.7-11 
VNnpgq 
的 结论 , 以 及 根据 中 心 极限 定理 可 以 得 到 

1 


1 b’ 
Pe<z<ys- 专 |. exp| 一 22 2]dz 


根据 式 (1.11-3) 中 定义 的 标准 正 态 分 布 函数 Fow(X) 可 知 ， 上 述 结果 又 可 以 写成 如 下 形式 


b—n a—np 
Pla<s GE 和 如 区 = na| 


当 n 汪 1 时 , 式 (1.11-5) 中 的 纠正 因子 0.5 可 以 忽略 不 计 。 

例 4.8-3 设 了 是 二 项 分 布 随机 变量 ,均值 为 71D，, 标准 差 为 VNpq。o 试 根据 中 心 极限 定理 
中 有 关 正 态 近 似 的 结论 来 计算 以 下 事件 的 概率 : |np -Vnpq <2Z < np +Vnpq|, Inp -2Vnpg = 
Z<np+2Vnpg) 以 及 17D -3/npqg 三 2 三 MD +3v72Dqg|。 
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解 通过 变量 替换 ZI 4 “三 于 ,可 以 将 上 面 三 个 事件 转变 为 | -1<2' <1|, |-2<2 < 
Npq 


和 |-3 三 G' <3|。 通 过 中 心 极限 定理 中 有 关 正 态 近 似 的 结论 可 知 , 随机 变量 2' 均值 为 零 , 方 
差 为 1， 因此 可 得 
Pl[=1 和 了 瓜 1] = FsN (1) — FsN (—1) 之 0.683 
PI-2 < 2Z’<2|= FesN(2)— FsN(—2) ~ 0.954 
Pl-3<2'<3= FosN(3)— Fsy(-3) 2 0.997 
上 面 最 后 一 个 事件 (几乎) 是 肯定 会 发 生 的 。 平 均 而 言 ， 在 1000 次 重复 实验 中 只 有 3 次 不 
会 发 生 。 
例 4.8-4 设 X, 是 独立 同 分 布 的 泊 松 分 布 随机 变量 , 概率 质量 函数 为 P[k] -=e 前 二 
0, 1, 2, ,= ，100。 在 这 里 表示 在 一 个 给 定 的 时 间 段 内 事件 发 生 的 次 数 。 设 Z = 
作 Xt， 并 且 有 [2Z] = 200, Var[2Z] = 200。 在 多 通道 接收 机 中 ， 接收 到 的 数据 包 之 和 一 般 服 


从 这 种 规律 。 试 根据 中 心 极 限定 理 来 计算 事件 |190 < 2Z < 210| 的 概率 。 
解 ” 因 为 Z 是 大 量 独 立 同 分 布 随机 变量 之 和 , 任何 一 个 分 量 的 方差 都 远 小 于 各 个 分 量 之 
de 因此 可 用 中 心 极限 定理 中 关于 正 态 近 似 的 结论 来 计算 这 个 事件 的 概率 。 定 义 2 = 


乞 下 00 为 零 均值 ， 单位 方差 的 随机 变量 , 利用 这 个 变量 定义 , 待 计算 事件 变 为 |-0.707 三 2 =< 


0.707| 。 通 过 正 态 近 似 可 知 Fs(0.707) - Rs(-0.707) = 0.52。 





小 结 


在 本 章 中 , 我 们 讨论 了 一 个 或 多 个 随机 变量 的 各 类 平均 值 , 以 及 这 些 平 均值 的 应 用 。 首 
先 ,定义 了 一 个 随机 变量 的 均值 或 数学 期 望 ， de tt 
算 Y = g(X) 的 数学 期 望 。 我 们 还 简要 讨论 了 条 件数 学 期 望 的 重要 概念 , 以 及 如 何 根 据 一 个 随 
机 变量 的 条 件数 学 期 望 来 计算 它 的 数学 期 望 。 此 外 , 还 介绍 了 用 单一 统计 数据 ( 比如 站 的 均值 
kx) 不 能 充分 的 描述 瑟 的 性 质 , 从 这 点 出 发 我 们 介绍 了 和 矩 的 概念 , 即 怀 功 率 的 平均 值 。 我 们 
介绍 了 根据 最 大 原 则 , 如 何 根据 矩 来 估计 概率 密度 函数 , 并 引出 了 联合 矩 的 概念 。 我 们 也 介 
绍 了 两 个 随机 变量 的 协 方差 可 以 看 成 二 者 关系 的 一 种 测量 , 即 根据 线性 预测 模型 通过 一 个 变 
量 预测 另 一 个 变量 。 通 过 一 个 反例 , 我 们 强调 随机 变量 不 相关 并 不 意味 着 二 者 独立 , 独立 性 是 

一 个 更 强 的 条 件 。 还 介绍 了 两 个 随机 变量 的 联合 高 斯 概率 密度 函数 , 对 于 高 斯 分 布 而 言 , 不 相 
关 和 独立 是 等 价 的 。 我 们 还 给 读者 介绍 了 一 些 重要 的 限 和 不 等 式 , 比如 切 比 雪夫 不 等 式 , 施 瓦 
茨 不 等 式 , 以 及 切 尔 诺 夫 限 等 , 并 介绍 了 在 概率 问题 中 如 何 使 用 它们 。 

在 本 章 的 第 二 部 分 主要 介绍 了 和 矩 量 生成 函数 (MGF), 特征 函数 (CF) 和 中 心 极限 定理 
(CLT)。 我 们 证 明了 一 个 随机 变量 的 矩 量 生成 函数 和 特征 函数 , 实际 上 就 是 概率 密度 函数 的 
拉 普 拉 斯 变换 和 傅 里 叶 变换 , 以 及 如 何 通过 甜 量 生成 函数 或 特征 函数 来 计算 各 阶 距 ,当然 前 提 
是 这 些 矩 存在 。 此 外 还 介绍 了 矩 量 生成 函数 和 特征 函数 的 一 些 重要 性 质 , 以 及 如 何 利用 特征 
函数 来 计算 随机 变量 之 和 的 概率 密度 函数 。 

此 外 还 介绍 了 中 心 极限 定理 , 这 是 概率 论 中 最 重要 的 结论 之 一 , 也 是 许多 随机 现象 为 什么 
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会 体现 出 正 态 特 性 的 理论 基础 。 中 心 极 限定 理 指 在 相对 宽松 的 数学 约束 条 件 下 , 独立 随机 变 
量 之 和 的 概率 分 布 函数 趋向 于 正 态 分 布 。 
在 本 章 最 后 , 通过 一 些 补充 的 例题 介绍 了 中 心 极 限定 理 的 应 用 。 


习题 


( 带 * 号 的 问题 带 有 一 定 的 难度 , 需要 花 更 多 精力 对 教材 进一步 的 学 习 。) 
4.1 试 计算 下 面 集合 的 均值 和 标准 偏差 : 3. 02, 5. 61，-2.37, 4.94，-6.25，-1.05，-3.25, 5.81, 2.27， 
0.54, 6.11, -2.56。 


4.2 请 计算 也 的 均值 Bg[X], 其 中 子 是 伯 努 利 随机 变量 


下 到 Pell 
x= {i Px(0 


4.3 设 卫 = a (a 为 一 个 常数 ), 请 证 明 E[X] = wa。 
4.4 设 卫 是 一 个 二 项 分 布 随机 变量 


Pi(k) = 本 pl-p)"*, k=0,n, O<pe<l 


请 计算 E[X] 。 
4.5 设 卫 为 一 个 均匀 分 布 随机 变量 , 概率 密度 函数 为 
f(b-a)!, 0<a<zr<b 
fx(z) I 人 其 他 
请 计算 BE[X]。 
PN 
4.6 设 X x = 
设 了 的 概率 密度 函数 为 f(x) 网 和 
(a) 计 算 Fy(x)。 
(b) 计 算 ELX]。 
(c) 计 算 ox。 


m 了 
( Tr )( k— ,) 
m+n 
| 

数 称 为 超 几 何 分 布 , m, n 和 大 都 是 正 整数 。 
4.8 ”对 于 习题 45, 设 Y4 了 ,请 利用 式 (4.1-8) 计 算 了 的 概率 密度 函数 和 数学 期 望 ELY], 再 请 利用 式 (4. 1-9) 计 


算 E[Y]。 
4.9 设 了 A 到 +1, 瑟 的 概率 密度 函数 如 下 , 请 计算 E[Y] 和 oy。 


4.7 如 果 z =0,1,…,k 时 Px(x) = , 其 余 情 况 Px(x) = 0。 请 计算 EL[X]。 这 种 概率 质量 函 


fx(7) = Fs Py 和 
4.10 设 卫 是 一 个 泊 松 分 布 随机 变量 , 分 布 参 数 为 a, 如 果 令 了 A XX +5, 请 计算 EB[Y]。 
4.11 请 利用 均值 的 积分 定义 证 明 : 高 斯 分 布 随机 变量 卫 : N(j, o ) 的 均值 为 ws 
4.12 在 物理 课程 中 , 应 该 学 习 过 动量 p = mw 的 概念 , 不 过 书 上 讲 的 一 般 都 是 确定 性 或 非 随机 特性 的 动量 。 
但 在 实际 情况 下 , 对 质量 m 和 速度 " 的 测量 不 会 是 完全 准确 的 , 也 就 是 说 不 可 避免 地 有 些 不 确定 性 因 
素 在 其 中 。 在 这 里 , 我 们 把 这 些 参 数 看 成 随机 变量 。 假 设 质 量 M 是 一 个 随机 参量 , 其 概率 密度 函数 为 


@ ”原文 是 证 明 ELY] =a, 明显 有 误 一 一 译 者 注 。 


4.15 


4.17 


4.18 


4.19 


4.20 
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Ju(m) , 速度 了 也 是 一 个 随机 变量 , 概率 密度 函数 为 fy(v) 。 假 设 数学 期 望 ww = BLM] 和 Ar = BLV] 也 
是 已 知 的 (物理 课程 中 应 该 讲 到 了 如 何 测 量 这 些 参数 ) 。 假 设 M 和 了 是 独立 的 , 非 负 的 随机 变量 。 

(a) 试 根据 概率 密度 函数 fy(m) 和 fy(v) 写 出 动量 P = MV 的 概率 密度 函数 。 

(b) 试 根据 jw 和 jy 写 出 动量 的 数学 期 望 pp = ELP]。 

如 果 头 是 一 个 连续 随机 变量 且 EB[X] 存在 , 请 证 明 1 E[X] 1 < E[1 X1]。 当 子 是 离散 随机 变量 时 , 请 
证 明 同 样 的 结论 。 

如 果 [gi(X) ] 存在 , i = 1, …，N, 请 证 明 下 面 的 结论 成 立 : 


N N 
9 [seo| = 2 Plo:(X)] 


随机 对 20 个 家 庭 进行 采样 , 各 个 家 庭 拥 有 的 孩子 数量 为 3, 2, 0, 1, 0, 0, 3, 2, 5,0,1,1,2,0,1, 
0, 0, 0, 6, 83。(a) 总体 而 言 , 每 个 家 庭 平均 拥有 和 多少 个 孩子 ?(b) 对 于 至 少 拥 有 一 个 孩子 的 家 庭 而 
言 , 每 个 家 庭 平均 拥有 多 少 个 孩子 ? 
设 B 4 la < 卫 < 5|。 如 果 也 是 一 个 随机 变量 , 试 推导 出 EB[X1 B] 的 一 般 表达 式 。 当 X: N(0, 1)， 
B=|-1< 了 <2| 时 , 请 计算 E[XI B]。 
(Papoulis 2? ) 设 Y=h() ,我 们 希望 粗略 计算 BLh(X)] 和 E[he( 了 ) ] ,假设 h(x) 可 以 被 震级 数 展 
开 , 也 即 是 它 的 所 有 导数 都 存在 。 进 一 步 假 设 所 有 二 阶 以 上 的 导数 都 可 以 忽略 不 计 。 已 知 B[X] = ， 
Var(X) = o”, 请 证 明 下 面 的 结论 : 
(a) E[h(X)] 之 AN) + hi" (Ko /2 
(b) E[h2(X)] Sh2(p) + (h(E + hh (p))o? 
设 了 和 了 是 两 个 随机 变量 , 的 概率 密度 函数 f(x) 为 

3x 0<x<1l 


fl*) = {0 ph 
当 卫 =x 时 ,了 的 条 件 概率 密度 函数 fy(y1 x) 为 
. 2y/x* 0<y<x<l 

fnx(yl x) = 二 其 他 
(a) 请 计算 了 和 了 的 联合 概率 密度 函数 fy(x. 7)。 
(b) 请 计算 全 =x 时 了 的 条 件 均值 , 即 EL Yl1 x]。 
(c) 请 计算 边缘 概率 密度 函数 fy(y) 和 均值 ELY]。 
高 清 电 视 机 (HDTV) 的 组 装 可 以 用 一 个 典型 的 模型 来 建 模 。 假 设 在 同一 个 公司 里 面 有 A, B, C 三 个 不 
同 的 组 装 车 间 , 因为 这 三 个 车 间 里 的 工人 工作 经 验 不 同 , 因此 各 个 车 间 组 装 出 来 的 电视 机 质量 会 有 差 
异 。 i 年 ) 


fx(7T) = = exp(- z/5)u(z), A 
fx(E} = 4 exp(—7z/6.5)u(z), B 
fx(7) = i exp(- z/10)u(z), C 


其 中 &(z) 是 单位 阶 跃 函数 。A 车 间 的 产量 是 B 车 间 的 三 倍 , 而 B 车 间 的 产量 是 C 车 间 的 两 倍 。 生 产 
出 来 的 所 有 电视 机 都 会 发 往 一 个 中 心 仓 库 , 在 那里 混 装 后 再 运往 各 个 零售 商店 。 对 于 一 台 随 机 购买 的 
电视 机 , 请 计算 这 台电 视 机 的 预期 寿命 。 
一 个 信号 源 传输 一 个 信号 @, 其 概率 密度 函数 为 
_f(27)-1, 0<0<2n 
fe(0) = { 人 


由 于 加 性 高 斯 白 噪 声 的 影响 ,接收 信号 了 的 概率 密度 函数 为 (此 时 @ = 9) 
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Cs 2 
re 人 = -iP | ( 二 <) | 
请 计算 B[Y]。 


4.21 请 计算 他 的 方差 , 如 果 互 服从 : (a) 伯 努 利 分 布 ; (b) 二 项 分 布 ; (c) 泊 松 分 布 ; (d) 高 斯 分 布 ; (e) 瑞 
利 分 布 。 
4.22 有 两 类 互联 网 服务 提供 商 (ISP) 给 用 户 提供 分 发 数据 包 的 服务 , 不 过 这 种 服务 会 随机 失败 。 我 们 发 现 
故障 时 间 的 分 布 服 从 指数 分 布 ,分布 参数 分 别 为 上 和 心 。 故 障 时 间 是 随机 变量 , 我 们 把 它们 分 别称 为 
四 和 了 ,并 且 假 设 它们 是 相互 独立 的 。 有 30% 的 服务 商 是 第 1 种 类 型 的 , 有 70% 的 是 第 2 种 类 型 的 。 
如 果 随 机 选取 服务 商 , 并 且 用 随机 变量 了 来 代表 故障 时 间 。 
(a) 请 计算 ELT]。 
(b) 请 计算 EB[7”]。 
(c) 请 计算 标准 偏差 rr。 
4.23 设 了 和 了 是 独立 的 随机 变量 , 服从 分 布 N(0, 1) 。 请 计算 2 A VX + 严 的 均值 和 方差 。 
4.24 设 卫 , 卫 , 了 是 三 个 独立 同 分 布 的 标准 正 态 分布 随 机 变量 , 设防 < 丈 < ZD。 
(a) 计算 fyiyors (i , Ya, Ys3)o 
(BD) 计算 BLY.] ,$= 1,2;3, 
4.25 设 0 <x <y<1 时 fry(x, Y) = 2, 其 他 区 间 fixwy(x, y) = 0, 请 计算 E[Y] 和 0o3。 
4.26 设 1p1 <1 时 fxy(x, y) 的 表达 式 如 下 : 
Re- 1 Z2 十 22 — 2pry 
xyr(z,y) = Dr rp pe exp (- 2c2(1 — p32) ) 
请 证 明 B[Y] = 0, EL[LYI X= Xx] = px。 根据 这 个 结果 , 可 否 用 互 的 观测 值 来 估计 Y? 
4.27 设 忆 和 了 为 两 个 高 斯 随机 变量 , 均值 为 0, 方差 为 o”, 设 


ZS5(X+Y) 


(a) 如 果 互 和 了 是 相互 独立 的 , 请 计算 Z 的 均值 和 方差 。 
(b) 如 果 开 和 了 不 是 独立 的 , 设 p 为 和 了 的 相关 系数 , 请 再 次 计算 Z 的 均值 和 方差 (提示 : 你 的 答案 
可 能 与 p 有 关 ) 。 
(c) 当 p =-1,p =0 和 p =+l 时 会 是 什么 结果 ? 这 种 情况 经 常 发 生 吗 @? 
4.28 对 于 联合 高 斯 概率 密度 函数 , 均值 jx = Ar = 0, 方差 ox = oy 4 o, 请 证 明 当 p 一 工时 联合 高 斯 概率 





密度 函数 趋向 于 下 面 的 表达 式 : 
2 
fxy (zy) 一 ep| ; (2) jw 1) 
4.29 ”对 于 一 个 概率 空间 = (0, 多 了), 设 02= | 人， ,如 = 1-1, -去 ,0， 十， 11, PL{Z}] = 二， 


1 = 1,…, 5。 在 上 定义 两 个 随机 变量 如 下 : 


(al) 请 证 明王 和 了 是 独立 的 随机 变量 。 
(b) 请 证 明和 和 了 是 不 相关 的 。 
4.30 ”两 个 随机 变量 了 和 了 的 条 件 高 斯 密度 函数 定义 如 下 : 





@ 习题 4.24 原文 有 两 处 错误 , 第 一 是 说 的 是 , X, 和 XY 是 独立 同 分 布 的 随机 变量 , 第 二 是 计算 BLY ] ,应 该 是 计算 
BLY;] 才 对 一 一 译 者 注 。 
@@ ”原文 在 此 好 像 没 有 说 完 一 一 译 者 注 。 


4.32 


4.33 


4.34 


4.35 


4.41 
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t y 一 QZ)2 
fylx (yz) we el( 也 ) 
请 计算 条 件 均值 BLY1 X], 此 处 a 是 一 个 已 知 的 常数 。 
我 们 希望 利用 函数 p(x) 来 估计 互 的 概率 密度 函数 , p(x) 可 使 焙 最 大 化 。 


HIX] = | p(T)lInp(z) dr 


已 知 B[X] = jw, Var[X] = 0。 请 计算 了 概率 密度 函数 的 最 大 炳 估计 。 
设 : N(0, o”) ,请 证 明 下 面 的 结论 : 
mn 全 万 [X?] =1.3.…(n 一 1)o”  n 为 偶数 
mn 一 0 几 为 奇数 
已 知 jwx A B[X], py A BL[Y], 如 果 cu=Wewcw，, 请 证 明 如 下 结论 成 立 : 


?|( 呈 ex i= mm)) | = 
C20 


根据 上 面 这 个 结论 , 请 证 明 当 1p1 = 工时 , 了 是 也 的 线性 函数 , 即 了 = aX +B, a 和 BB 的 取 值 与 和 Y 
的 各 阶 距 有 关 。 
对 于 例 4.3-4 中 的 最 优 线 性 预测 器 ,最 小 均 方差 表达 式 如 下 : 


ein ay(1 p”) 





请 解释 为 什么 1 p1 = 1 时 es = 073 

已 知 随机 变量 子 的 概率 密度 函数 在 0 < x <2 区间 为 fy(x%) = 1 一 (1/2)x, 其 他 区 间 f(x) = 0。 请 计 
算 尺 的 第 了 阶 矩 m, ,7 是 一 个 正 整数 。 

设 B[X,] = jw, Var[X,] = oo。 我们 希望 用 样本 均值 来 估计 yj。 


XA, 
Pr = 方 2 和 
i=1 


假设 X; 是 相互 独立 的 , 请 计算 few 的 均值 和 方差 , i = 1,…,N。 
对 于 上 一 个 问题 , 试问 入 要 多 大 , 下 面 的 不 等 式 才 成 立 。 
Pllfiw 一 由 > 0.10] < 0.01 


设 X 是 区 间 ( - 二 ,十 ) 中 均匀 分 布 随机 变量 , 请 计算 : (a)X 的 矩 量 生成 函数 ; (b) 利 用 式 (4.5-5) 计 


算 卫 的 均值 。 提 示 : sinhz A (e* -e“)/2, 取 极 限 可 计算 均值 。 
设 卫 是 一 个 泊 松 分 布 的 随机 变量 , 请 计算 (a) 矩 量 生成 函数 ; (b) 利 用 式 (4.5-5) 来 计算 均值 。 
负 二 项 分 布 的 概率 质量 函数 定义 如 下 , 其 中 -P=1,P>0,N=1。 


Oe 


当 不 能 确保 各 个 事件 是 独立 发 生 的 (这 是 泊 松 分 布 的 严格 随机 性 要 求 ), 有 时 就 用 上 面 这 个 分 布 来 代 壹 
泊 松 分 布 。 请 证 明和 矩 量 生成 函数 是 如 下 表达 式 : 
Mx(t) = (Q — Pet)-™ 

提示 : 可 尝试 计算 或 查 表 得 到 (Q@ - Pe') 的 展开 公式 ， 比 如 可 参考 Discrete Distributions, N. L. John- 
son and S. Kotz, John Wiley and Sons ，1969 。 
已 知 瑟 服从 伽 马 分 布 ,概率 密度 函数 如 下 , 请 计算 飞 的 矩 量 生成 函数 。 

(al BB) wexp( -x/B), 0<x<%,B>0,a=0 
flws 8) =o 其 他 
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4.42 如 果 互 服从 伽 马 分 布 , 请 计算 瑟 的 均值 和 方差 。 

4.43 已 知 随机 变量 也 服从 指数 分 布 ,f(x) = Ae “w(xz) ,请 计算 关于 P[X = a] 的 切 尔 诺 夫 限 。 
4. 和 4 设 习题 4.4 和 0 中 NN = 1。(a) 计 算 P[X=k] 的 切 尔 诺 夫 限 ; (b) 将 结论 推广 到 任意 的 N。 

4 人 5 设 民 服从 柯 西 分 布 , 概率 密度 函数 如 下 , 试 计算 互 的 特征 函数 Bx(w)。 


fx(z) = 一 -2 


4.46 设 X 服 从 柯 西 分 布 ,概率 密度 函数 为 f(x) = (7(1+ (x -a)”))"，- w < xz < %, 请 计算 BLX]。 
当 你 准备 计算 0 时 会 遇 到 什么 问题 ? 
4.47 请 计算 指数 分 布 随机 变量 的 特征 函数 ,概率 密度 函数 如 下 ,其 中 均值 i > 0, w(x) 表示 单位 阶 路 函数 。 


fx (2) = eruls) 


4.48 设 Y= 市 马 称 ,其 中 是 独立 同 分 布 的 柯 西 随机 变量 ,概率 密度 函数 为 
1 


有 (= 
三 [1 二 (w—R)] 
请 证 明了 的 概率 密度 函数 为 
1 
A 
也 就 是 说 了 的 概率 密度 函数 与 各 个 X; 的 概率 密度 函数 相同 , 并 且 与 入 无 关 ( 提示 :可 使 用 特征 函 
数 法 ) 。 


4.49 设 习 在 区 间 (-Q, ww) 上 服从 均匀 分 布 ,了 与 X 独 立 且 在 区 间 ([n-2]ja, na) 上 服从 均匀 分 布 ,n= 1， 
2,…。 对 于 不 同 的 n, 请 计算 2 = 瑟 + 工 的 数学 期 望 , 并 绘 出 2 的 概率 密度 函数 曲线 。 请 问 勾 在 这 里 起 
了 什么 作用 ? 
4.50 下 面 的 递归 表达 式 被 称 为 一 阶 滑动 平均 , 其 中 马 ,，2, 和 2, 都 是 随机 变量 , m = …, -1,0, 1,…。 
Kn = Zn — AZn_1, lal<1 
假设 对 于 所 有 的 n, E[2Z,] = 0 和 E[ 如 ] = o” ; 对 于 所 有 的 n 关 7, E[2,2;] = 0。 请 计算 R,(k) A 
BLXX, 4], k=0, 1, +2, "6 
4.51 下 面 的 递归 表达 式 称 为 一 阶 自 回归 
Xn=bXn_1+2Zn, <1 
假设 对 于 所 有 的 n, E[2Z,]=0 和 EE[ 妈 ]= of ; 对 于 所 有 的 nn 了 7, BL2Z,2]= 0。 另 外 假设 E[2,X,]=0， 
7 了 =1,2,…。B[ 愧 ] A KK 与 % 无 关 。 请 计算 R,(k) = E[X,X,4], k=+1, +2,…。 
4.52 设 Z A aX+bY, WA cX+dY。 请 以 和 了 的 联合 特征 函数 来 表示 2Z 和 W 的 联合 特征 函数 。 
4.53 设 .pr(z,y) = l6exp(-4[7z+2),，Z >0,y >0。 请 计算 (了 ,7 了) 的 联合 矩 量 生成 函数 和 联合 特征 函数 。 
4.54 设 和 和 了 是 两 个 独立 的 泊 松 分 布 随机 变量 , 概率 质量 函数 如 下 : 


Px(k) = ne 2 


Lk 
Py(k) = ne 3 


请 利用 矩 量 生成 函数 或 特征 函数 来 计算 2 = 了 + 了 的 概率 质量 函数 。 

4.55 假设 你 的 公司 生产 面包 烤箱 , 生产 出 来 的 烤箱 具有 四 痕 或 刮 痕 的 概率 为 p = 0.05, 这 些 烤 箱 具 有 四 痕 
或 刮 痕 的 情况 是 相互 独立 的 。 在 一 个 星期 内 你 的 公司 可 以 生产 2000 个 烤箱 。 请 问 一 星期 内 生产 出 来 
的 所 有 烤箱 中 , 至 少 有 109 个 烤箱 有 四 痕 或 刮 痕 的 概率 为 多 少 ? 

4.56 网 络 中 的 信息 长 度 亏 (以 字 节 为 单位 ) 可 以 用 独立 同 分 布 的 指数 随机 变量 来 建 模 , 其 概率 分 布 函 数 如 下 : 

于 一 e 一 0.002! 1 三 0 


Pe< SFD= {i 3 


4.60 


4.62 
4.63 


4.64 


4.65 
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(a) 如 果 一 个 文件 要 存储 400 个 信息 , 请 问 这 个 文件 长 度 的 数学 期 望 是 多 少 ( 字 节 )? 

(b) 对 于 400 个 随机 选取 的 信息 , 存储 长 度 超过 520 个 字 节 的 概率 是 多 少 ? 

对 于 100 个 独立 同 分 布 的 随机 变量 , 均值 为 凡 , 方差 为 o , 我 们 给 出 样本 均值 为 上 io 。 请 使 用 切 比 雪夫 
不 等 式 来 计算 概率 P[1 jiw -人 1 > o/5] 的 上 限 , 请 给 出 数值 结果 。 

你 的 公司 生产 液晶 显示 器 (LCD ) 面板。 设 一 个 面板 存在 一 个 坏 像素 点 的 概率 为 p = 0.03。 假设 各 个 面 
板 存在 坏 像素 点 的 事件 是 独立 的 。 该 公司 一 个 星期 可 以 生产 2000 个 LCD 面板 。 请 使 用 中 心 极限 定 
理 , 估计 一 个 星期 内 出 现 80 个 坏 面板 的 概率 。 

设 X; 是 独立 同 分 布 的 伯 努 利 分 布 随机 变量 , i = 1, …, n, Px(1) = p, Px(0) = g = 工 -2。 假 设 事件 
111 代表 成 功 , 事件 101 代表 失败 。 

(a) 请 证 明 Z 是 一 个 零 均值 , 单位 方差 的 高 斯 分 布 随 机 变量 , 其 中 W; A (X; -p)/ Vpq,n > 1。 


(b) 请 计算 在 nw 次 试验 中 次 成 功 的 概率 P, 其 中 n=2000, k=110, 130, 150。(i) 请 使 用 严格 的 伯 努 利 
分 布 表达 式 ; (让) 请 用 泊 松 分 布 来 近似 伯 努 利 分 布 ; (二 ) 请 用 中 心 极限 定理 来 近似 计算 。 请 编写 3 个 
MATLAB 小 程序 来 完成 计算 。 请 验证 一 下 当 正 确 的 概率 降低 时 ,中 心 极限 定理 的 误差 会 随 之 增加 。 

在 第 1 章 中 , 通过 二 项 分 布 的 近似 解决 了 下 面 的 问题 。 

假设 在 计算 机 程序 中 错误 代码 发 生 的 情况 为 : 一 行 代码 中 包含 错误 的 概率 为 = 0. 001, 因此 没有 错误 

的 概率 为 9 = 0. 999。 不 同 的 代码 行 中 错误 出 现 的 情况 是 独立 的 。 在 一 个 1000 行 代码 的 程序 中 , 至 少 

有 2 行 代码 出 现 错误 的 概率 是 多 少 ? 

可 以 用 中 心 极限 定理 来 近似 解决 这 个 问题 吗 ? 能 或 不 能 , 都 请 给 出 理由 。 

假设 我 们 拥有 一 个 均匀 随机 数 发 生 器 (URNG), 并 且 用 一 个 独立 同 分 布 的 均匀 分 布 随机 数 序 列 来 进行 建 

模 , XX, 表示 这 个 均匀 随机 数 发 生 器 的 第 i 个 输出 值 , i = 1,…, n。 此 外 还 假设 X; 的 概率 密度 函数 为 


= Ti— a/2 
0) 去 rect (三 全) 
(a) 试 证 明 E[2Z,] = na/2, 其 中 如 = +… + 六,。 


(b) 请 证 明 Var[ 2Z,] = na”/12。 
(c) 请 编写 一 个 MATLAB 程序 , 绘 出 fz,(z) 的 曲线 , 其 中 %w 取 2, 3, 10, 20。 


(q) 请 编写 一 个 MATLAB 程序 , 绘 出 高 斯 概率 密度 函数 (给 ， 9-) 的 曲线 ,其 中 久 取 2,3, 10, 20， 


并 对 所 得 的 结果 分 别 与 fz,(z) 进行 比较 。 
(e) 对 于 不 同 的 n, 请 计算 Pip, -ko < 2 三 如 +ko,], 其 中 儿 = na/2, ox = na*/12,kk 的 取 值 可 


以 选择 0.1, 0.5, 1, 2 3。 请 分 别 用 户 ,(z) 和 和 (加 ， 8-) 进行 计算 。a 可 以 选取 任意 合理 的 值 ， 


如 可 设 a 至 1 
设 f(z) 是 一 个 连续 实 随机 变量 的 概率 密度 函数 , 如 果 户 (z) = fi( -x) , 试 证 明 B[X] = 0。 
请 计算 Chi 平 方 随机 变量 W，= 于 ”加 的 方差 , 其 中 XX 是 相互 独立 的 , 服从 分 布 N(0,1) ,i = 1,2， 


…,n (提示 :可 使 用 习题 4.32 的 结论 ) 。 

设 了 是 一 个 高 斯 分 布 随机 变量 , 了 : N(x,，o”)。 请 证 明 Ei(X-1)*) = 0, E[(X-1)™*] = 
[ (2k) 1/2°k! J]o*。 

(a) 请 编写 一 个 MATLAB 程序 (. m 文件 ) , 绘 出 Chi 平方 分 布 随机 变量 Z 的 概率 密度 函数 曲线 , 其 中 
n = 30, 40, 50; (b) 改 进 你 所 编写 的 程序 , 计算 P[y -ao < 2 4+o]。 将 得 到 的 结果 与 高 斯 近似 PL 
-ospn+ol] 相 比较 , 其 中 : N(n, 2n)。 
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4.66 设 X,; 是 4 个 零 均 值 的 高 斯 分 布 随机 变量 , i = 1,…, 4。 请 利用 联合 特征 函数 证 明 下 面 结论 成 立 。 
E[X1 XX3Xa] = E[X1X2]E[X3X4] + E[X1X3]E[X2X4s]+E[X2 Xs]E[X1X] 

4.67 请 计算 nn 个 自由 度 的 Chi 平方 分 布 的 矩 量 生成 函数 和 特征 函数 。 

4.68 设 E[X,] = jh, Var[X,] = o ,我 们 希望 用 样本 均值 让 来 估计 风 


he 


请 计算 扩 的 均值 二 阶 矩 , 假设 X; 是 相互 独立 的 , i = 1,，…，N。 
4.69 习题 4.62 的 道 结论 成 立 吗 ?也 就 是 如 果 E[X] = 0, fy(xX) = .fy( -Xx) 是 否 成 立 ? 
4.70 设 X:U(a,b),0 < a <5b,r 和 4b/a。 当 rr 一 % 时 , 请 证 明 j/o (均值 -标准 偏差 比值 ) 趋 向 于 1.73。 


4.71 假设 下 是 独立 同 分 布 的 高 斯 随机 变量 , 请 证 明 W, A 如 ”,[(X, -二 于" 加)/o] 服从 nn-1 个 自 


由 度 的 Chi 平方 分 布 。 

4.72 (条 件 期 望 ) 设 Y = +N, 其 中 屋 和 六 是 独立 的 泊 松 分 布 随机 变量 , 均值 分 别 为 20 和 5。 
(a) 请 计算 了 在 瑟 给 定时 的 条 件 概率 质量 函数 。 
(b) 请 计算 条 件 均 值 B[Y1 X = x]。 

4.73 如果 反 (x) = fx( 一 x)，, 请 证 明 不 等 式 oxP[1 XI ox] < B[1 1] < ox 成立。 

4.74 假设 jx, yy, ox, oy 和 pp 已 知 , 对 于 随机 变量 和 和 了 , 我 们 用 线性 方程 来 估计 了 


Y=aX+pB 
定义 估计 误差 如 下 : 


ID 


& 会 儿 =Y 

(a) 请 计算 估计 误差 s 与 数据 瑟 之 间 的 协 方差 , 即 

Covle, X] = EleX] — Ele]E[X] 

请 用 a, B 以 及 本 题 给 出 的 其 他 参数 来 进行 计算 。 
(b) 请 给 出 a 和 BB 的 最 优 值 , 然后 再 次 计算 Cov[ a, 七] 。 
4.75 在 习题 4.74 中 , 利用 随机 变量 互 来 对 随机 变量 了 进行 线性 估计 
六 二 QX+B 
最 优 取 值 的 a 和 会 使 得 Cov[e, 立 ] = 0。 下面 的 这 个 条 件 就 是 所 谓 的 正 交 条 件 
Covla, XI]=0 
请 证 明 对 于 一 般 的 线性 估计 问题 ,只 要 满足 正 交 条 件 , 所 得 线性 估计 的 均 方 误差 是 最 小 的 。 也 就 是 说 ， 
此 时 估计 误差 z 与 观测 数据 了 是正 交 的 。 
在 这 里 , 我 们 考虑 一 个 更 一 般 的 问题 。 利 用 两 个 随机 变量 忆 和 XX 来 线 性 估计 了, 也 就 是 
艺 一 CGIAXI 十 a2X2 十 四 
采用 下 面 的 正 交 条 件 来 计算 a, 和 os 的 取 值 。 
Covla, X1|=0 和 Covle, X2]=0 
为 使 问题 更 简单 一 些 , 假设 三 个 均值 都 是 零 , 此 时 B = 0, 所 以 线性 估计 器 可 简化 为 
全 一 ClX1I 十 ao2X2 

同 前 面 类 似 , 估计 误差 为 。 = 了 - 了 因为 均值 是 零 , 所 以 Cov[e, ] = EleXi], Cov[e, 丈 ] = 
五 [ eX ] 。 请 使 用 下 面 的 参数 设置 : 

[2 

pi = 0.5,p2 = 0.7, p12 = 0.5 
其 中 p， 3 EL[XY]/oioy, pa = ELXY]/os0y, p12 = EL XX, |/o10s。 
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(a) 请 根据 上 面 给 出 的 参数 写 出 两 个 线性 方程 , 根据 下 面 的 正 交 条 件 , 可 以 用 这 两 个 方程 来 求解 m% 和 aw。 
EleXi|=0 和 EleX2]=0 


(b) 求 解 这 两 个 线性 方程 , 解 出 a 和 a 。 
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第 5 草 随机 向 量 


5.1 联合 分 布 和 联合 密度 


在 许多 涉及 随机 现象 的 问题 中 , 我 们 观测 到 它们 往往 具有 向 量 的 特征 。 对 此 用 三 个 例题 
来 进行 讲解 。 

例 5.1-1 (地 震 鉴别 ) 一 个 地 震 监 视 台 接收 到 一 个 地 震波 和 (ti) ,在 时 刻 五 ， 瑟 ，…， t, 进 
行 采 样 ， 可 得 到 一 个 向 量 丰 = [XI，…, XX,] ,其 中 X; A 尺 (t;) ,了 表示 转 置 操作 D。 因 为 政治 
和 军事 上 的 原因 , 在 过 去 有 段 时 间 , 确定 这 个 波 是 来 自 地 震 还 是 地 下 爆炸 非常 重要 。 假 设 有 套 
专家 电脑 系统 ,这 套 系 统 存储 了 很 多 的 数据 , 既 包 括 地 震 , 也 包括 地 下 爆炸 。 将 向 量 尺 与 存储 
的 数据 相 比 较 , 请 问 卫 (1) 可 以 被 准确 鉴定 的 概率 是 多 少 ? 

例 5.1-2 (健康 向 量 ) 一 个 地 区 的 卫生 部 门 为 了 评估 小 学 儿童 的 健康 状况 ， 需 要 测量 每 
个 儿童 的 一 些 数据 ,包括 身高 , 体重 , 血压 , 红血球 数目 , 白血球 数目 , 肺活量 ,心率 ， 血 铅 水 
平 , 视觉 灵敏 度 等 。 得 到 的 向 量 尺 可 作为 每 个 儿童 健康 状况 的 一 个 总 结 。 请问 随机 选取 的 儿 
童 中 健康 儿童 的 概率 是 多 少 ? 

例 5.1-3 (疾病 监测 ) 一 个 配备 了 数字 扫描 仪 的 电脑 系统 ， 可 以 通过 和 射线 来 检测 黑 肺 
病 。 通 过 统计 6 个 肺 部 区 域 ( 即 每 片 肺叶 3 个 区 域 ) 中 射线 无 法 通过 的 数目 ,估计 每 个 区 域 中 
阴影 区 域 的 平均 面积 。 得 到 的 结果 是 一 个 12 维 的 向 量 辟 , 用 这 个 向 量 来 进行 诊断 。 请 问 计 算 
机 最 好 的 诊断 决策 应 该 是 什么 ? 

前 面 的 三 个 例题 在 工程 和 科学 问题 中 非常 具有 代表 性 , 为 了 某 种 目的 需要 把 一 些 随机 变 
量 进行 编组 。 用 向 量 的 方法 来 学 习 这 些 编组 的 随机 变量 非常 方便 。 因 此 , 我 们 把 这 些 编组 的 
随机 变量 看 成 一 个 整体 , 就 称 为 随机 向 量 。 如 前 面 章 节 讲 到 的 , 字母 表 后 面 的 大 写字 母 表示 随 
机 变量 ,， 黑 斜体 的 大 写字 母 表示 随机 向 量 和 和 矩阵, 小 写 的 黑 斜 体 字母 表示 确定 性 向 量 ， 即 一 个 
随机 向 量 的 具体 取 值 。 

考虑 一 个 样本 描述 空间 Q 和 其 中 的 点 &#, 以 及 从 0 映射 到 实数 直线 随机 向 量 (RV) 中 个 
随机 变量 组 成 的 集合 X，，, Xs。,…, 已。 对 于 每 个 5 es 02, 可 以 生成 一 个 由 个 元 素 组 成 的 向 量 
于 (L) A (XC), XL) ,i X(L)) e R", Ee 么 屠 A (ZX, XX,,…, X,) 就 是 一 个 n 维 实 随 
机 向 量 。 该 定义 也 可 拓展 到 复 随 机 向 量 。 设 及 是 定义 在 样本 空间 QQ 上 的 n 维 随机 向 量 , 概率 
分 布 函数 为 Fy(x)。 由 定义 可 知 % 

Fx(x) SP[X1 < z1,..., Xn < znl (C5, TIy 





@ 除非 特别 说 明 , 本 书 中 所 有 的 向 量 都 是 列 向 量 。 
四 在 此 提醒 读者 : 事件 (<zx) A [XX ，…, XxXn1 就 是 nn 个 事件 |X; 寺 x; | 的 交集 , i=1,…, n。 如 果 其 中 任何 一 个 
子 事件 是 不 可 能 事件 ,比如 |X;< - % | ,那么 整个 事件 就 是 一 个 不 可 能 事件 ,此 时 Fx( - m ) =0 仍然 成 立 。 
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通过 定义 | 于 过 x| A | 及 三 vw，…, 了 ,三 ww,| ,可 把 式 (5.1-1) 简 写 为 


Fx(x) 人 PX<Y (5. 1-2) 
我 们 认为 事件 | 肝 < 上 和 | 下 大 - o 上 分 别 是 必然 事件 和 不 可 能 事件 ,因此 有 
Fx(%) =1 (5.1-3a) 
Fx(—-%)=0 (5. 1-3b) 
如 果 Fx(x) 的 7 维 混合 偏 导 存 在 ,就 可 以 定义 概率 密度 函数 如 下 : 
fx) Se (5.1.4) 


读者 可 能 会 发 现 这 些 定义 与 第 2 章 中 标量 定义 是 完全 类 似 的 , 因此 可 以 通过 如 下 定义 得 到 

式 (5. 1-4)。 

Plzxi1 < Xi1 < zi Ari ,Tn < Xn < rnt Arnl] 
AM .sr A 





fx(x)E lim 


Azr1i—=0 


(5.1-5) 
Ba 


举 个 例子 , 当 %=2 时 
Plz1 < Xi1 <Zz1+tAzri,r2 < X» < Xo 二 + Ax2] 


= Fx (zi++ AZxi,T2 + Az2) — Fx(7T1,7T2 + Az2) — Fx (Ti+ Ari,7z2) + Fx(z1,72) 
因此 可 得 


人 在) = 一 A AniArs Ro A 一 一 一 [Ex(zl 十 AX1,X2 十 Az2) 一 Fx(x1 十 Arzl,7zZo2) 


一 Exg(zlizo 十 Azoz) 十 Fx(zlzZzo2)] 
根据 定义 可 知 ， 上 式 是 函数 的 二 阶 混合 偏 导 , 因此 有 


2 < 
jxr(zlza) = PY 
当 增 量 很 小 的 时 候 , 从 式 (5. 1-5) 可 得 到 如 下 有 用 的 等 式 
fx(x)Azi:.. Azn Rs Plri < Xi < zr1+ AAT Tn < Xn<rnt+Arn] (5.1-6) 


将 式 (5.1-4) 进行 积分 可 以 得 到 概率 分 布 函数 如 下 ; 
Fx(x) = | A | fx(x) drt dz 
将 其 写成 紧凑 的 表达 式 为 
rx(W = | oodz 
更 一 般 地 , 对 于 任意 一 个 事件 互 C R*(R" 是 一 个 NN 维 欧 式 空间 ) , 其 包含 可 数 集 和 平行 六 面体 
交集 , 有 如 下 结论 成 立 : 


PIB] = | fx (x)dx (5.17) 
XE 已 

[与 式 (2.5-3) 相 比较 ] 式 (5. 1-7) 参 数 的 合理 性 与 一 维 的 情况 非常 类 似 ( 参 见 2.5 节 ) 。Daven- 

ports-uaag1 讨 论 过 式 (5.1.7) 在 多 =2 时 的 参数 合理 性 。 对 于 n > 2 的 情况 ,可 以 用 数学 归纳 

法 证 明 。 
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及 关于 事件 B 的 概率 分 布 孔 数 定义 如 下 : 
Fxlp(x|B) 全 PIX <x|B] 
时 PLX < x,B] 
P[B] 
上 面 的 这 些 结 果 , 以 及 接 下 来 的 结果 与 一 维 的 情况 很 类 似 。 考 虑 n 的 不 相交 的 穷 举 事件 |B,， 
i=1,…, nj, 且 P[B,] > 0。, 此 时 有 U?1B; = 02, BB， = 中 , i 关 j。 根据 全 概率 定理 1.6-1 
可 知 





(PLB] #0) 


Fx(x) = 》 Fxls,(x|Bi)P[B] (5.1-8) 
Cr=1 
等 式 左边 的 这 个 条 件 概率 分 布 函数 有 的 时 候 也 称 为 混合 分 布 函数 。 妃 关于 事件 召 的 条 件 概 率 
密度 函数 是 Fns(x1 B) 的 7 阶 混合 偏 导 (前 提 是 这 个 偏 导 存 在 ) , 表达 式 如 下 : 
A O"Fx|B(x|B) 
有 


fxlp(%lB) = Br. Brn 


(5. 1-9) 
根据 式 (5. 1-8) 和 式 (5.1-9) 可 得 


fx(x) = >》 fris(x|Bi)P[B] (5. 1-10) 
d=51 
因为 fx(x) 是 混合 的 , 即 它 是 条 件 概率 密度 函数 的 线性 组 合 ,， 有 的 时 候 也 被 称 为 混合 概率 密 
度 函 数 0。 
两 个 随机 向 量 圣 = [也 ,，…, 了 X,] ”和 Y= [了 ,…, 了 ,,] 的 联合 概率 分 布 函数 为 
Fxy (x,y) = PLR <x,Y < (5.1-11) 
如 果 脏 和 了 的 联合 概率 密度 孔 数 存在 , 那么 有 如 下 定义 : 


Ontm) Fxy (x, Y) 





fxY (XD) = Br Orn Oy. Or (5. 1-12) 
及 的 边缘 概率 密度 函数 x(x) 可 通过 对 fxy(x, 8 ) 积分 得 到 
fx®)= | | fr Ce) ey ay 
类 似 地 , 简化 向 量 对 ”A [3 ，…, X11] 的 边缘 概率 密度 函数 可 由 于 的 概率 密度 函数 得 到 
fx'(x') 人 | fx(x) dr 其 中 x 会 [z1,… ,zn_1]? (5. 1-13) 


很 显然 , 式 (5. 1-13) 可 以 拓展 到 所 有 的 边缘 概率 密度 函数 ,只 需要 对 相应 的 变量 进行 积分 即 可 。 
例 5.1-4 (随机 粒子 ) 设 四 = [XXo, Xs] 表示 一 个 粒子 的 位 置 ， 该 粒子 在 一 个 球 心 在 
原点 ， 半 径 为 @ 的 球体 内 。 假 设 在 观测 的 时 刻 ,粒子 等 概率 的 出 现在 球体 任何 一 个 位 置 
3 : 
a | pe Vzi 二 ZE 二 zi<a 
0， 其 他 
请 计算 该 粒子 出 现在 一 个 半径 为 24/3 的 子 球体 内 的 概率 为 多 少 。 





Q@ 这 在 统计 模式 识别 中 经 常用 到 。 
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解 ”假设 轧 代表 粒子 出 现在 这 个 子 球体 内 的 这 个 事件 (为 简单 起 见 , 假设 子 球体 的 球 心 


也 在 原点 ), 设 
.BE {71, za,za: VT? + 22+ 23 < 2a/3} 
对 于 下 面 等 式 的 计算 ， 用 球 坐 标 系 表示 是 最 方便 的 
PIE| = 川 fx(T1, 7T2, 73) dr1 dz dx3 
也 就 是 
3 2a/3 T 27 
PIE] = —s | | | 7r2sin 四 drdddb 
4mra” 小 -0 几 =o Je=0 


在 这 个 简单 的 例题 里 面 , 最 终结 果 是 体积 之 比 , 也 就 是 (2a/3)? :aa = 8/27 ~ 0.3。 


5.2 随机 变量 的 多 重 变换 


本 节 是 对 3.4 节 内 容 的 一 个 直接 拓展 。 设 下 是 定义 在 样本 空间 02 上 的 一 个 n 维 随机 向 
量 。 对 于 下 面 的 ?” 个 实 函 数 


Yi = (D1 Lay yn) 
V2 = 92(Z1;,7Z2…… ,Tn) 

: (5.2-1) 
yn 一 gn(T1, T2,* vl) 


其 中 g;, i = 1, …, n 是 函数 无 关 的 , 表示 不 存在 恒 等 于 0 的 函数 吾 (y ,ys，…，y，)。 例如， 
下 面 三 个 线性 方程 就 不 是 函数 无 关 的 : 
Yi = 71— 272+ 73 
y2 = 37T1 + 272 十 2z3 (5.2-2) 
y3 = 571 — 272 十 473 
因为 对 于 zi, zs, Ys 的 所 有 取 值 , 函数 五 (yy ,ys,，…, yn) =2 + Ys -2 = 0。 根据 下 面 的 等 
式 , 可 以 建立 一 个 维 的 随机 向 量 Y A [了 ,了 ,YY,] 
Yi = 91(X1, X2,.. ,Xn) 
Y2 = g2(X1, X2,:…: , Xn) 
; (5.2-3) 
Yn = gn(X1, 2 ,Xn) 
利用 这 种 方法 , 生成 了 ?7 个 函数 , 每 个 函数 由 个 随机 变量 组 成 。 为 了 行文 简洁 , 我 们 设 x A 
[zi Xo， YX] ，Y [YY ,，…, yn]。 请问: 假设 已 知 联 合 概 率 密度 函数 x(x), 如何 计 算 
Y; 的 联合 概率 密度 函数 方 (8) ,1 = 1,…, 了 到? 如 果 随 机 变量 了 (i = 1,…, m) 的 数目 比 
XC = 1 …, nn) 少 , 即 m <n, 此 时 可 以 仿照 例 3.5-4 通过 辅助 方程 来 增加 了;。 
假设 对 于 方程 组 (5.2-1), 可 以 求 得 x; 的 唯一 解 如 下 (i% = 1,…, n): 
T1 = G1(Y1,Y2, yn) 


Z2 = Go(Y1,Y2,:** ,Yn) 
. (5.2-4) 


Tn = bn,(Y1,Y2, om) 
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对 于 无 穷 小 事件 4 A |Z: y， < 了 < y+ dy,, i = 1,…, n| ,了 ,只 能 在 无 穷 小 的 长 方 体内 
取 值 。 按 照 式 (3.4-5) 至 式 (3.4-8) 的 求解 过 程 , 可 以 得 到 
PIA] = i fr(y) dy = fr(y) ,= 上 fx (x) dr = fx(x)V, (5.2.5) 


其 中 用 是 一 个 无 穷 小 的 平行 六 面体 (不 一 定 要 求 是 长 方 体 ) , V, 是 多 的 体积 , V, 是 宛 的 体 
积 。 根 据 式 (5. 2-5) 可 得 














fr(y) = jx) 让 (5. 2-6) 
y 
根据 附录 C 可 知 , 无 穷 小 体积 之 比 表示 因子 J 的 大 小 , 具体 为 
ab O01 
_ Ovy1 Oyn 
=| : (5.2-7) 
Opn eso. Opn 
Ovy1 Own 
Og Og 上 
OX1 Orn 
=| 3 : =J-! (5.2-8) 
Ogn Ogn 
a 
因此 可 得 
fr(y) = fx(x)|J7| = fx(x)/|J| (5.2-9) 


一 般 而 言 , y 系统 中 的 一 个 无 穷 小 的 长 方 体 映射 到 x 系统 中 7 个 不 相交 的 无 穷 小 的 平行 六 面 
体 。 前 面 提 到 的 事件 4 就 是 事件 B,, i = 1, …, 7 了 的 并 集 , 其 中 = | 对 e 有 "|,F" 的 
体积 为 V?, 是 x 系统 中 7 个 平行 六 面体 之 一 。 因 为 这 些 事件 ( 区域) 是 不 相交 的 , 将 基本 概率 
P[E,] 相 加 , 就 可 得 到 本 节 的 最 终结 果 如 下 : 





fr(y) = > Jr) (5.2-10) 
t=1 
= > fx(x°)/IA (5.2-11) 


i=1 
在 式 (5.2-10) 和 式 (5.2-11) 中 ,| jl1A V/V,,1j,1=|lJ17。 
例 5.2-1 (向 量变 换 ) 已 知 向 量 x 的 三 个 标量 变换 如 下 : 
gi(x) = xI — zx2 
g2(X) = ZI + 73 
g3(X) = 73 
对 于 如 下 的 系统 ， 有 4 个 解 ( 根 ) 存 在 


2 2 
Yi 二 21 Ys 





@ 原文 有 误 , 在 这 里 是 i = 1, …, 7 一 一 译 者 注 。 
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六 2 
y2 三 ZI1 十 Z2 


Yy3 一 3 
这 4 个 根 分 别 是 
z= +t) 2 = (y+)/2) 
72 =((y2 /2 2 = (yn)/2)Y? 
由 一 病 £0) = ys 
5.2-12 

7 = -n+y)/2)N 2 20 = (y+y)/2)? , | 
zz 名 = (ya — 91)/2)1? 72 = —((y2 — 1)/2)Y? 
13) (的 二 

3 三 Y3 zZ3 三 Ys 


为 了 使 根 都 是 实数 , ys 三 0, Vi + Ys 三 0, Ys -2 三 0, 因此 有 2 三 | Yi1。 在 这 道 例 题 里 面 ， 
三 维 空间 中 的 一 个 无 穷 小 的 立方 体 ， 映 射 到 三 维 空间 中 的 4 个 不 相交 的 无 穷 小 平行 六 面体 。 


例 5.2-2 (更 多 的 向 量变 换 ) 对 于 例 5.2-1 中 的 向 量变 换 ,， 请 根据 fx(X%) 的 表达 式 计 算 
fr(y) 


fx (= me | -3+ 邓 + 雹 | 


其 中 在 是 一 个 三 维 的 标准 正 态 分 布 随机 变量 。 
解 ”必须 首先 计算 这 4 个 根 各 自 的 雅 可 比值 | -| 


271 一 272 0 
J 一 |2zl 十 2 0|= 87r172 
0 0 








例如 ,第 一 个 根 的 雅 可 比值 可 计算 为 

71= 4 —) 
直接 计算 可 知 |1 Ji1 =1Jsl =1Jsl =|1 1。 最 后 , 将 式 (5.2-12) 中 的 4 个 根 标 记 为 Xx, Xs, Xs， 
Xa, 可 得 


,| 4 
fr (y) = Wa — a > fx(xi) 
i=1 


(27)-3/2 
(y2 — yt)1/2 


一 个 随机 向 量 完 全 可 以 由 其 分 布 函数 或 密度 函数 描述 其 特性 , 但 除了 几 个 特例 外 , 用 密度 
函数 是 很 困难 的 。 到 目前 为 止 , 两 个 最 重要 的 特例 是 : (1) Fx(x) = Fx(zi)…Fx(zn)， 即 如 
的 nn 个 分 量 都 是 独立 的 ; (2) 如 果 脏 服从 多 维 高 斯 分 布 的 规律 。 第 1 种 情况 是 很 好 解决 的 , 可 
以 将 其 看 成 标量 情况 的 一 种 直接 拓展 。 第 2 种 情况 的 解决 将 在 5.6 节 中 讨论 。 但 是 , 如 果 我 
们 所 遇 到 的 既 不 是 第 1 种 也 不 是 第 2 种 情况 时 , 该 如 何 应 对 呢 ? 估 计 非 独立 变量 的 多 维 分 布 
是 不 现实 的 , 即使 能 够 计算 也 是 非常 复杂 的 , 没有 任何 实用 价值 。 因 此 对 于 随机 向 量 , 一 般 倾 
向 使 用 基于 各 阶 距 的 特性 , 这 些 特性 虽然 不 太 完 美 但 更 具有 可 计算 性 。 对 于 绝 大 多 数 工 程 应 





ep |-3(w2 + 98)| x uv) — la) 





中 ”证 明 这 个 概率 密度 函数 的 积分 为 1 有 些 复杂 。 
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用 , 最 重要 的 矩 一 般 就 是 期 望 向 量 (一 阶 矩 ) 和 协 方差 矩阵 (二 阶 矩 ) 。 它 们 的 特性 和 应 用 将 在 
后 面 的 章节 讨论 。 接 下 来 , 将 学 习 具 有 有 序 分 量 的 随机 向 量 。 


5.3 有 序 随机 变量 


在 3.4 节 ( 例 3.4-3 和 例 3.4-5) 中 , 介绍 了 两 个 有 序 随 机 变量 的 符号 。 在 此 , 生成 即 个 
随机 变量 , 并 以 此 得 到 它们 的 一 些 重 要 特性 。 有 序 随机 变量 是 非常 重要 的 , 因为 在 无 法 了 解 随 
机 变量 分 布 特性 的 情况 下 , 有 序 变换 的 统计 知识 可 以 告诉 我 们 很 多 有 用 的 信息 ， 比 如 中 位 数 ， 
取 值 范围 , 以 及 其 他 一 些 与 分 布 参数 紧密 联系 的 信息 。 对 于 nn 个 独立 同 分 布 的 连续 随机 变量 ， 
每 个 变量 的 概率 密度 函数 为 .zz),， -om < x < %。 这 nn 个 随机 变量 的 联合 概率 密度 函数 为 
Jfxx (V1 Wn ) =fx(X1)…fx(X,)，, 联合 边缘 概率 密度 函数 可 由 积分 得 到 ,比如 和 XY, 的 联 
合 边缘 概率 密度 函数 可 对 变量 x。,，…, x,,_ 积分 得 到 。 现 在 将 这 n 个 随机 变量 按照 升序 排列 ， 即 
如 果 闷 = min( 邓 ,…, XY,)，, 那么 了 = ,此 时 五 就 是 接 下 来 的 集合 {XX ,i =1,…, n,% 关 
k| 中 最 小 的 , 了 又 是 再 接 下 来 的 集合 中 最 小 的 , 以 此 类 推 , 最 后 ,= max( 关 ，…, XX, )。 此 时 
就 完成 了 一 个 有 序 变换 ,因为 假设 X; 是 连续 的 随机 变量 , 因此 可 以 写 出 一 个 依 概率 1 严格 成 
立 不 等 式 隔 < 了 <… < 了 ,< 了 ,我 们 希望 计算 17,, i = 1,…, n| 的 联合 概率 密度 函数 。 
乍 看 上 去 , 可 能 会 错误 地 认为 : 因为 集合 S = |X;, =1,…,n| 和 Ss = 1Y,,i=1,…,n|l 
中 的 元 素 是 完全 相同 的 , 所 以 当 jyi: -% <Yy; <%,i=1,…,n| 时 有 下 面 的 结论 成 立 : 

jn = fxi Xx, (Yi, Yn) 

= ja 0) fx, (yn) 
但 是 , 这 个 结果 忽略 了 一 个 重要 的 事实 , 那 就 是 | 了;, i = 1, …, n| 不 是 独立 的 随机 变量 。 打 
个 比方 , 如 果 观 测 到 了 X, 那么 能 从 X, 中 了 解 到 Xs 的 什么 特性 呢 ? 你 什么 都 不 会 了 解 到 的 。 
但 是 , 如 果 已 知 了  , 马上 就 会 知道 了 > 六 ,而 且 同 样 也 会 知道 了 > 了 的 概率 为 0, 因为 在 
Yi > y 的 区 间 概 率 为 0。 根 据 这 个 情况 , 我 们 可 能 希望 将 {Y,} 的 联合 概率 密度 函数 修改 为 下 
面 的 形式 : 
jp) = fx (YD) fx (Yn), <Y < Yn 
二 0, 其 他 

不 过 , 我 们 又 遇 到 了 新 的 问题 : 修改 后 的 联合 概率 密度 函数 其 包围 的 体积 不 是 1。 实 际 上 当 n 
比较 大 的 时 候 , 体积 是 小 于 1 的 。 为 了 得 到 {Z 1 联合 概率 密度 函数 的 正确 表达 式 , 我 们 将 用 
到 5.2 节 中 的 结论 , 根据 这 个 结论 可 以 计算 一 个 随机 变量 集合 的 概率 密度 函数 , 这 些 变量 的 概 
率 密度 函数 是 已 知 的 , 且 存 在 函数 关系 。 

首先 把 一 个 7 维 空间 | - % < 0， 2 ，…,， XY < %m| 划分 为 n!1 个 非 重 秋 的 不 同 区 域 , 用 
二 Wy 表示 ， 其 中 1 <i<n!l,1<i<n, wo e {wi, 
Xo ，*…， Wn| 。 而 且 当 7 < 天 时 zio < Yio。 每 个 区 域 中 元 素 的 排序 都 不 相同 。 比 如 ,对 于 一 个 
三 维 空间 (zi, ze , zs ) , 它 的 非 重 春 , 不 相同 可 划分 为 

{zl < zz2 < 7Z3} 
= {my < Ts < vo} 
= {p< ry < Te} 
= {Wo < Bs < TL1} 
{Xz3 < ZT1 < ZX2) 
{Zz3 < XT2 < Zz1} 
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对 于 n! 个 区 域 中 的 每 个 区 域 , 我 们 定义 2 全 Vi) < Ye AEXig) < 2 人 2 T=1, ,Nn!o 
以 三 维 空 间 (wi , ws, ws) 为 例 








H1 :YI = TX1;Y2 = T2;Y3 = TX3 

Ws: Yi = m1; = 3;Y3 = Ta 

.Za :91 = 72;Y2 = T1;Y3 一 23 

HB4 :91 = T2;Y2 = T3;Yy3 = 71 

B85 :Yi = 73;Yy2 = 71;Y3 = To 

.6 : Y1 = T3;Y2 = T2;Y3 = XI 
因此 在 这 个 三 维 空 间 (x ， 2, 23 ) 中 , 存在 着 6 个 变换 方程 组 , 而 且 对 于 VW < Y。< y8 有 6 =31 
个 不 同 的 根 。 除 了 下 面 的 情况 , 在 2 空间 中 是 无 解 的 


.RB1 : Yi = 91(71, T2, 73) = 71j a = 91(Y1,Y2,Y3) = Yi 
y2 = hi(zx1, T2, T3) = 72; 2 = = Pp1(Y1,Y2,Yy3) = Yy2 

ge = qi (zx1, 72, 73) = Za; 7 ) = 01(Yy1,Yy2,Y3) = Ys 

Ba : 1 = 94(T1, 72, 73) = T2; 708) = Ba(Yi,Y2,Yy3) = 
ya = ha(z1,T2, 73) = Ta; 24) = pa(y1,Y2,Y3) = Ho 

y3 = qa(T1, 2, 73) = T1; 21) = 04(y1,Y2,Y3) = Ys 

RB2 : 1 = 92(T1, T2, £3) = T1; 71) = Go( V1,Y2,Y3) = 
y2 = ho(ZX1, T2, T3) = 73 73 2 = po(yi, YaYy3) = Ya 
ys = q2 (x1, T2, T3) = x2; Th) = 02(1,Y2,Y3) = Ys 

Bs :页 = 95(T1, L273) = 13; 18) = ps(y1,Y2,Yy3) = Yi 
Vy2 = hs(Z1, 22, Z3) = zi = = ps(Y1,Yy2,Yy3) = Y2 
ys = gs(T1, T2, 23) = 72; 276) = 05(y1,Y2,Y3) = Ys 

.HB3 : Yi = g3(T1, To, 73) = i = pa(Y1,Yy2,Yy3) = Yi 
go = ha(z1,72, 73) = Z1; 24) = pa(yi,Yy2, Ys) = yo 
ya = q3(X1, 72, LT3) = size ) = 03(y1,Yy2,Y3) = 多 

Be : 1 = ge(T1, L273) = 13; TY) = be(y1,Y2,Yy3) = 
y2 = he(z1, 72, 73) = Zaizg = pe(y1,Yy2,Y3) = yo 

ya = go(z1, 72, 73) = Z1; x) = G6(y1,Yy2,Y3) = Ys 


因为 这 些 变换 中 的 雅 可 比值 都 为 1, 对 于 3 个 有 序 的 独立 同 分 布 的 随机 变量 , 式 (5.2-11) 可 写 为 


Ee Jixaxs(zi ,72" ,3 ) 


m=1 [Jm| 


= zw) fx (wl) fx(z™) 
将 求 和 表达 式 展开 , 并 代入 正确 的 解答 可 得 最 终结 果 为 
fyiysys (Vy2,93) = fx (Vi)fx (yo) fx (ya) + fx (vi)fx (ya)fx (ya) + fx(y2)fx(y1)fx (ys) 
+ fx (yo)fx (ya)fx (yi) + fx (ya)fx (Vifx(y2) + fx(y3)fx(y2)fx (yi) 
= 3lfx(yi)fx(y2)fx (ys) 

上 面 的 结论 在 y，< y。< ys 时 成 立 , 否则 fyyy (Yi, yz, ya) = 0。 

此 时 , 我 们 总 结 一 般 情况 下 的 结论 。 如 果 已 知 n 个 独立 同 分 布 的 连续 随机 变量 , 概率 密 
度 函 数 为 Ju (zi ，…， 2。) = /x(z)， 且 -< ,ww，…, ao < ms 请 考虑 一 个 升序 变 
换 蕊 < 到 <… < 也 ,其 中 1 sr 也 € | 卫 , 屯 ，… ,了 X,|。 此 时 可 得 





























fyiyaYs (V1, 22， y3) = 
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(5.3-1) 
0， 其 他 

如 果 记 .yy (yi, …, y,) 是 一 个 合法 的 概率 密度 函数 , 那么 它 的 积分 值 一 定 是 1, 此 时 的 积分 是 
一 个 勾 重 积分 。 

为 了 验证 这 个 积分 结果 , 我 们 先 考 虑 n =2 的 情况 。 此 时 要 将 函数 2fyy(y1, Ys) = 
2fy (Vi)fr(ys) 在 区 间 -= < yi < Y。< o 上 积分 , 需要 将 被 积 函数 先 在 区 间 - % < 办 < 2 
上 积分 , 然后 再 在 区 间 - % < % < o 上 积分 , 积分 区 间 如 图 5. 3-1 所 示 。 我 们 先 在 区 间 
-< WY < 上 ,将 变量 从 - om 积分 到 wy。 ; 然后 再 在 半空 间 上 , 将 y。 从 - om 积分 到 %。 


nn 
nl X\Yi), 一 oo 过 起 < co 
fy (VY1, , Yn) = | 也 了 (yi) Y1 22 Yn 

















图 5.3-1 两 个 有 序 随机 变量 的 积分 区 域 


可 直接 将 上 述 结论 扩展 到 n 维 情况 。 先 将 变量 y, 从 - % 积分 到 %，, 然后 再 将 变量 y。 从 
一 % 积分 到 ys, 以 此 类 推 , 最 后 将 变量 y, 从 - % 积分 到 % 。 在 这 种 情况 下 , 我 们 在 -% < yi 
< … < y, < o 所 有 的 子 空间 上 都 进行 了 积分 , 最 终 的 积分 结果 为 


nl | Pal(yn)fx (yn)dyn/(n — 1D)!=n! | FR (yn)dF(yn)/(n — 1)!=FR(yn)|S, =1 


下 面 的 推导 将 给 出 顺序 统计 学 的 一 些 基 本 结论 。 
面积 随机 变量 的 分 布 
首先 给 出 面积 随机 变量 的 定义 
Zi 全 | fx (z)dzr,i 一 17 (5.3-2) 


其 中 f(x) 是 连续 随机 变量 的 概率 密度 函数 , X,,…, X 是 痒 的 nn 个 独立 同 分 布 的 观测 值 。 
排序 操作 后 得 到 有 序 随机 变量 Y, min(X,…,X,) AY <Y, < <Y,Amax(X,., 
X) ,1 = 1,…, no 我们 用 2; 表示 一 个 “面积 随机 变量 ”, 因为 随机 变量 Z; 表示 函数 Jfx(x) 到 
Y; 下 方 的 面积 , 不 过 这 种 表示 方法 不 太 规范 。 显 然 , 因为 了; 是 随机 变量 , 所 以 Z; 也 是 随机 变 
量 。 实 际 上 , 可 以 把 2Z; 看 成 一 个 输入 参数 为 随机 变量 的 概率 分 布 函数 ,因此 也 可 以 认为 Z; 是 
一 个 随机 的 概率 分 布 函 数 。 因 为 责 < … < 五 ,所 以 有 和 <… < 2, 而 且 2 是 关于 ;的 单 
调 递 增 函 数 。 我 们 考虑 如 下 的 变换 : 


yi 
二 | jx(zZ)dz = Fx(yi),i = 1,.…,n 
一 CO 
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其 中 F(x) 是 2 的 一 个 连续 的 增 函 数 , 因此 对 于 每 个 x 都 有 了 唯一 的 逆 像 存在 。 这 些 方程 的 根 
为 Vi = Fe (2;) i=1,…, n, (如 图 5.3-2 所 示 ), 雅 可 比值 为 





azl eee 32 fx(y") 0 本 0 
0 fx(y) 0 。 
也 
@ . = . 0 Er . 二 ] fx (y") (5.3-3) 
@ @ . Ss 
Ozn Ozn @ “. 0 
0 0 ，0Aom) 








因此 可 得 2Z; 的 概率 密度 函数 为 = 1,…,n 
n es 
nll We 二 mh 0 类 1 
11 fx (vy; ) (5.3-4) 
二 0, 其 他 
从 这 个 结论 可 知 , 2Z; 的 概率 密度 函数 与 fx(X) 无 关 i=1,…,n。 当 我 们 不 知道 某 个 变量 的 概率 
分 布 时 , 可 以 用 式 (5.3-4) 的 结论 来 估计 各 种 参数 , 具体 情况 可 参见 例 5. 3-5。 





(人 一 





图 5.3-2 计算 变换 y = Fx (z) 的 根 


例 5.3-1 [从 最 小 值 到 最 大 值 ,fx(X) 下 方 的 面积 ] 我 们 希望 计算 fx(X) 下 方 的 面积 , 起 点 
为 nn 个 观测 样本 中 的 最 小 值 五 = min( 闷 ，…， 已 ) ,终点 为 最 大 值 部 = max(X，…, XX,)。 我 
们 用 一 个 新 的 随机 变量 来 表示 这 个 面积 


Yu 
Vin | fx (5.3.5) 


ba 
注意 到 有 下 面 的 关系 成 立 , 因此 需要 根据 fz..z (1，…, 2n) 来 计算 fzz (21, 2n)。o 
Yn Yi 
入 训 二 | fx(z)dz 一 | FE(E 和 = Zn 一 否 (5.3-6) 


将 式 (5. 3-4) 在 >;， 3, 和 Cn-1 上 进行 积分 ， 其 中 Si_l < Si < 1 得 到 的 结果 为 


fziz, (z1,2n) = n(n m1)(2n — 21)", 0 之 有 和 芝 加 之 1,n 守 3 


(5.3-7) 


》 


现在 考虑 两 个 新 的 随机 变量 Vi A 2 -ZL1, W A Zi。 为 了 计算 概率 密度 函数 Jyw(D, WwW) ,需要 
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利用 变换 =, 一 ,WwW =2,,0 <v <W<1。 这 个 变换 的 雅 可 比值 为 1, 而 且 这 个 变换 的 唯 
一 解 为 zi” = Ww -V，z6) = W。 因 此 可 得 


fvw(V ww) =nn 1)v ?2, 0<wv—-v<w<lnz2 
二 0, 其 他 


为 了 计算 Vi, 的 概率 密度 函数 ,需要 对 进行 积分 。 根 据 两 个 不 等 式 W-v>0 和 Ww <1 可知 ， 
积分 区 域 为 一 个 三 角形 区 域 ， 如 图 5.3-3 所 示 。 





图 5.3-3 计算 WV, 概率 密度 函数 用 到 的 积分 区 域 


根据 4.(v) = n(n 一 1)v”* | dw 可 得 


1)v*2(1—v), 0<v<1l,n>=2 
和 = 人 人 (5.3-8) 


所 得 的 概率 密度 函数 是 2.4 节 介 绍 的 贝塔 概率 密度 函数 的 一 个 特例 ,此 时 a = 妈 -2,B =1。 
这 个 分 布 函数 就 是 概率 值 ， 也 就 是 最 大 值 和 最 小 值 之 间 的 面积 , 这 个 值 是 小 于 等 于 的。 最终 


结果 如 下 : 
710n 1 一 (人 一 1 0<V<1 
Fr (v) = Ls 和 之 并 (5.3-9) 


QO: v<0 
图 5.3-4 所 示 为 人 4 取 不 同 值 时 贝塔 累计 分 布 函数 。 


贝塔 累积 分 布 函数 

















0.2 0.4 0.6 0.8 1 1.2 
V 


-0.2 


图 5.3-4 n=2( 最 上 方 曲线 ), n=4( 中间 曲线 )n=10( 最 下 方 曲线 ) 时 的 贝塔 累积 分 布 函 数 [ 参见 式 (5.3-9) ] 


例 5.3-2 (任意 两 个 有 序 随机 变量 之 间 的 面积 ) 我 们 拓展 上 个 例题 的 结论 , 计算 fy (x) 
在 任意 两 个 有 序 随机 交 量 之 间 的 面积 , 并 不 要 求 是 在 第 一 个 和 最 后 一 个 之 间 。 我 们 用 一 个 符 
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号 来 表示 
Ym 


六 多 > 
Vim = Zm — 2 = | fx (rz)dr 一 | | fx(r)dz = | fx(r)dr,m>1 (5.3-10) 


Y 
现 考虑 0 <2 <2, <2Z<1, 其 中 fzzz(21, 22,23) =3!,0<2 <2 <2 <1。 首先 计算 
随机 变量 Vs = Zs -Za 的 概率 密度 函数 (Vv)。 因 为 这 个 函数 只 与 Z。 和 2， 有关， 所 以 必须 从 
fzzz(21， Zo，2a) 计算 得 到 fzz (zs，, Zs)，, 计算 如 下 所 示 : 
Pe 人 /0 d= 0 加 过 1 
为 了 从 Jzz (3s，23) 计算 得 到 fj(v)，, 我们 定义 一 个 辅助 随机 变量 BA Zs 及 其 实现 B, 还 定义 
We 在 这 种 情况 下 ， 这 个 合适 的 方程 组 是 A zs - 22, BB A za, 方程 组 的 根 为 
)=B, 2 ”=vw+B。 此 时 BA 3 就 成 为 一 个 辅助 交 量 。 此 时 , 变换 的 雅 可 比值 | J1 为 1, 根 
phe an 
fBvss(B,v) = fzszas(B,v+B)/JT=38, 0<B<1-v 
二 0， 其 他 
最 后 , 将 辅助 变量 B 进行 积分 可 得 
(v0) = 3 /1 "Bd = ,0<v<1 
fvss( 有 < 有 可 (5.3-11) 
可 按照 相同 的 思路 , 根据 fzzz(21, 22， 23) 计算 fy,(v)。 经 计算 可 得 , 当 0 < 2 <z，。<1 时 
fzz (21, 22) =31(1 -2%,), 其 余 区 间 为 .zz(2 322) = 0。 此 时 ， 根据 变换 VA 22 2, DB 人 2 
计算 可 得 
fra(v) = "(vB = ,0<v<1 (5.3-12) 
二 0, 其 他 
我 们 将 详细 推导 过 程 留 给 读者 。 
在 此 给 出 一 般 情况 的 推导 : 设 Vi, 表示 曲线 fx(X) 在 了 和 了 了, 之 间 下 方 的 面积 ( 概 举 ), 了 了 ， 
孔 ,，…， 了 了, 表示 概率 密度 函数 fx(X) 上 有 序 的 样本 点 。 那 么 Vi 的 概率 密度 函数 可 计算 为 


m1 — vw) -mt 0<v<l 





! y 
fvin(V) = tm Dn mt 


(5.3-13) 
三 0, 其 他 


例 5.3-3 [f(x) 在 有 序 样本 之 间 面 积 的 数学 期 望 ] 考 虑 面积 随机 变量 0 < 和 < < 条 <1， 
Z, 的 定义 参见 式 (5.3-2)。 我 们 希望 计算 EB[2,], i = 1,2, 3, 验证 B[2Z1] < ElZs] < ElZ] 
是 否 成 立 。 根 据 边缘 概率 密度 函数 J (2;) (i = 1,2,3) 的 定义 可 计算 


fz (21) = fe bs f212223 (21, 22,) Z3)dz2dz3 = = 中 (1 3 zi)> 
3!z2 


fz,(22) = a fz12223 (21, 22, 23)dzZ1dZ3 = (1 
jzs(za) = J fz12223 (21, Z2, Z3)dz1dz2 一 如 2 23 
根据 上 述 结论 可 得 
Bl21] = J zfa (2)dz -于 
ps = Jo zfzs(2)dz =# = str 
= zfzs(2)dz = 31 





根据 这 个 结果 可 知 : < 2 2 Zo < 2 < 1 时 ， 有 下 面 的 结论 
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El[Zi] = (5.3-14) 





这 个 结论 可 以 用 数学 归纳 法 来 证 明 。 

例 5.3-4 (有 序 样本 之 间 面 积 的 矩 ) 考 虑 两 个 相 邻 有 序 样本 之 间 的 面积 ， 即 Vi = ia 
一 i。V, i 的 概率 密度 函数 参见 式 (5.3-13) ， 此 时 设 刀 =1i+l,1 = 纪 可 得 0 <v <1 时 
fv.ini(v) =n(1 一 0)” ,其 余 情 况 f,iw(v) = 0, 得 到 结果 与 宇 无 关 。 根 据 这 些 结果 可 计算 
T(2)T(n) 1 
T(n+2) n+l 
其 中 伽 马 函数 TO7) = (7 -1)1,7 = 1,2,…, 积分 的 计算 查 表 可 得 (示例 公式 参见 p.67 in 4 
Short Table of Integrals by B. O. Peirce and R. M. Foster, Ginn and Company, New York, 
1956)。 这 个 积分 也 可 以 在 网 上 很 多 地 方 查询 到 ,包括 Www. wolframalpha. com( 在 提示 框 里 
面 输 入 “integral”)。 

类 似 地 可 得 





1 
E[Vii+i] = "| v(1—v)" ldv = 
0 


+ T(3)T(n) 2!(n — 1)! 
St wy Se 
Br =n | nn 
2 1 ,1 
(N+1)(n+2) (n+1)*: (2 +1)2” 
为 了 计算 方差 oz，i = 1,…,n 需要 首先 计算 各 个 B[2i] ,i = 1,…，n， 
五 [2?] = ml ho 位 和 站 (| zf?dz1) :dzn_1idzn = 2((n 十 2)(m 十 1))” 
避 人 = =n! 局 1b" jo" jo dz1dz2:… dzn = 6((n+2)(n+ Ty) 








因此 当 n 汪 1 时 ， Ov, 三 


EI22] 三 ml je 2 | ea 本 he | dz1dz2 .dzn 
= n(nt1)/((n++2)(n+ 1 





可 得 一 般 结 论 为 
2) i(i 十 1) ee 
五 [2; |] = m+ Dm $= LysN 
可 根据 式 oi = [Zi] - [2;] 计算 方差 如 下 : 
WS = 十 芭 es n=1 


n+l)(n+2) (n+1)? (n+1)? 
当即 很 大 时 ,oz ~~ BLZi]/(n+1)。 

例 5.3-5 ( 军 鞭 尺码 范围 的 估计 ) 需要 给 新 兵 定做 军用 鞭子， 生产 商 需 要 知道 这 些 军 就 
尺码 的 范围 。 假 设 测量 得 到 了 n 个 新 兵 的 鞭子 尺 寸 的 随机 样本 数据 。 请 计算 这 个 nn 的 最 小 
值 , 在 这 个 范围 内 至 少 包 含 了 95% 的 新 兵 靳 子 尺寸 。 

解 ” 设 | 了 ,Y=1,…, Nn| 表示 由 个 新 兵 靳 子 尺寸 组 成 的 独立 同 分 布 的 集合 , 这 个 
新 兵 是 从 总 体 中 随机 选取 出 来 的 ,总 体 的 概率 密度 函数 x(X) 是 未 知 的 , 设 | 了 ,Y=1,…,n|l 


表示 观测 值 的 顺序 统计 量 。 根 据 VV,，= 三 za， 我 们 需要 计算 P[V, 三 0.95] = 5, 在 这 里 


6 表示 我 们 对 nn 估计 和 值 可 信和 度 的 一 种 度量 。 也 就 是 说 , 在 1006 % 的 时 间 内 , n 总 是 一 个 最 小 
的 样本 数量 , 这 个 样本 数量 足够 用 来 估计 新 兵 靳 子 的 尺寸 。 根 据 PL Vi, 志 0.95] =1-6 与 
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式 (5.3-9) 可 计算 得 到 6 = 0.95 时 n = 93,6 =0.98 时 n = 114。 计 算 结 果 用 到 了 了 Excel 的 统 
计 功 能 。 注 意 : 这 里 的 结果 与 新 兵 数 量 是 无 关 的 。 
5.4 期 望 向 量 和 协 方差 矩阵 ” 
定义 5.4-1 ( 列 ) 向 量 豆 = [XI,…, XX,] 的 数学 期 望 是 一 个 向 量 凡 (或 者 总) , 该 向 量 的 
各 个 元 素 Hi ，…，Hn 为 
ji a | Tifx(T1): Za)dzl .dzn (5. 4-1) 
类 似 地 
foley S| | me dn dr am 
XX; 的 边缘 概率 密度 函数 可 以 写 为 


m= (id 
定义 5.4-2 一 个 实 随机 向 量 召 的 协 方差 矩阵 政 是 向 量 [ 忌 -A] [下 -1] 外 积 的 数学 期 
望 ， 具 体 定义 如 下 四 : 


KE EX—n)(F— pn)"] (5.4-2) 
对 于 第 (i%, 7 个 分 量 
Fi S EI(Xi — pi)(X; — py)] 
至 El(X; Hi) (Xi — i)] 
We (5.4-3) 
= Ki, 一 
特别 地 , 对 于 gi? A 天 ,, 可 以 把 区 写成 扩展 形式 
0? 0. Ki 
K=| : 2 : (5.4-4) 
Kn1l 。。。 0 


如 果 尺 是 实 向 量 , 那么 KK 的 所 有 分 量 都 是 实数 。 因 为 Ki; = Ki;, 这 种 类 型 的 实 协 方差 矩阵 也 
称 为 实 对 称 的 (I. Ss. ) 。 这 种 类 型 的 矩阵 同时 也 可 以 归纳 到 更 大 的 一 类 矩阵 ， 称 为 埃 尔 米 特 抵 
阵 (Hermitian )@@。 实 对 称 甜 阵 具有 很 多 有 趣 的 性 质 ,在 接 下 来 的 章节 我 们 会 详细 讨论 。 

对 角 元 素 0? 其 实 是 各 个 随机 变量 已 的 方差 ,1 = 1，…，7。 协 方差 矩阵 及 和 相关 矩阵 民 
是 紧密 联系 的 ， 相关 纸 阵 定义 如 下 : 





@ 本 节 内 容 需 要 读者 稍微 熟悉 矩阵 理论 。 

@ 我们 临时 省 略 了 均值 , 协 方差 和 其 他 一 些 向 量 参 数 的 下 标 , 因为 在 这 里 很 显然 是 在 针对 随机 变量 肝 。 

@ ”这 种 类 型 的 矩阵 是 nxmn 维 的 , 满足 K; = Ki ,该 类 型 矩阵 性 质 的 详细 讨论 请 参阅 参考 文献 [5-2] 。 当 不 是 复 向 量 时 , 协 
方差 一 般 都 不 是 实 对 称 的 ,但 此 时 是 埃 尔 米 特 共 轿 的 。 
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RE EXX") (5.4-5) 
将 式 (5.4-2) 展 开 可 得 

K=R-— pp 
或 者 有 

R=K+un (5.4-6) 


对 于 实 随 机 向 量 , 其 相关 和 给 阵 民 也 是 实 对 称 的 ， 有 的 时 候 民 也 被 称 为 自 相 关 纶 阵 。 随 机 向 量 
经 常 按 照 是否 相 关 ， 是 否 正 交 和 是 否 独立 来 进行 划分 。 

定义 5.4-3 对 于 两 个 n 维 随机 向 量 四 和 了 了, 均值 向 量 分 布 为 x 和 Mr，, 如 果 二 者 外 积 的 

数学 期 望 满 足下 面 的 等 式 : 
E{XY"}= jxky (5.4-7) 
那么 化 和 了 是 不 相关 的 。 如 果 
B{XY"} 二 0 (0 表示 一 个 nxn 级 的 矩阵 ， 所 有 元 素 为 0) (5.4-8) 
那么 和 四 和 严 是 正 交 的 。 

对 于 正 交 的 情况 , 忆 | 人 及 | =0,0 i,j 三 ns 此 时 二 者 内 积 的 数学 期 望 为 0, 即 BE[X'Y] =0。 
这 也 告诉 我 们 ， 两 个 常规 ( 非 随机 ) 向量 正 交 的 意思 是 XY = 0。 

最 后 ， 如 果 

fxY (X,Yy) = fx(x)fy(y) (5.4-9) 
那么 慰 和 了 了 是 独立 的 。 

独立 往往 意味 着 不 相关 , 但 反之 则 不 一 定 成 立 , 5.6 节 中 介绍 的 多 维 高 斯 概率 密度 函数 是 
一 个 特例 。 在 实际 情况 中 , 很 难 证 明 两 个 随机 向 量 是 相互 独立 的 。 但 是 , 在 某 个 事先 给 定 的 置 
信和 度 上 , 可 利用 统计 实验 确定 二 者 相互 关联 的 程度 。 

例 5.4-1 (几乎 独立 的 随机 变量 ) 两 个 随机 变量 Xl 和 Xs。, 当 0 <2 和 1,0 < 和 近 工 时 
联合 概率 密度 函数 为 fxx (Yi, Xs) = Xi +2a ， 其 余 情 况 fxx (zi ， Ws) = 0。 我 们 发 现 当 及 和 XX 
不 是 相互 独立 的 ， 那么 它们 本 质 上 是 不 相关 的 。 为 了 证 明 这 个 结论 , 计算 E[ (X, -1)(X。 - 
Lz) ] 如 下 : 

Kiz = Ki = R21 一 ji 
首先 可 计算 得 到 
ti = jz = | Z(Z 十 V)dz dy = 0.583 
Ss 
其 中 S= {lwi, wa);0<wB 1,0<% 1}。 
接 下 来 ， 再 计算 相关 乘积 
Ri2 = R21 全 人 ry(T+Yy) dz dy = 0.333 

因此 可 得 及 。= KK，= 0.333 - (0.583)? = - 0.007。 同样 地 , 我 们 还 可 以 计算 得 到 


1 
6 三 | zZ2(z 十 志 )dz — (0.583)? = 0.4167 — 0.34 = 0.077 
0 


因此 相关 系数 ( 归 一 化 协 方差 ) 可 计算 为 p = Kis/o10。 = 一 0.091。 为 了 利用 观测 值 承 来 预测 
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X,，, 或 者 反 过 来 用 观测 值 卫 ,来 预测 了 ,我们 可 能 会 设想 这 两 个 随机 变量 是 不 相关 的 。 实 际 
上 , 根据 式 (4.3-22), 例 4.3-4 的 预测 误差 为 0.076, 如 果 忆 和, 确实 是 不 相关 的 ,那么 预 
测 误 差 应 该 是 0.077, 此 时 的 协 方差 矩阵 疏 应 该 是 


| 1 | 


| 0.077 -0.09 1 


5.5 协 方差 矩阵 的 性 质 


因为 协 方差 矩阵 是 实 对 称 的 , 在 此 我 们 学 习 这 种 类 型 矩阵 的 一 些 性 质 。 设 对 是 一 个 % xn 
维 的 实 对 称 和 矩阵 。 和 矩阵 M 的 二 次 型 为 一 个 标量 4(z) , 具体 定义 如 下 : 
d(z) SzT Mz (5.5-1) 
其 中 z 是 任意 一 个 列 向 量 。 对 于 所 有 的 z， 如 果 下 面 的 表达 式 成 立 : 
z' Mz=0 
那么 和 是 一 个 半 正 定 (p. s. d. ) 和 矩阵 。 如 果 表 达 式 是 严格 成 立 的 , 即 zz > 0, 那么 有 是 正 
定 的 (p. d. )。 协 方差 矩阵 KK 总 是 (至 少 是 ) 半 正 定 的， 因为 对 于 任意 一 个 向 量 z 4 
[区 训 |] 总 有 下 面 的 结论 成 立 : 
0< E{lz' (X — 4)]} 
=2T EX — Hp)(X- 1) lk (5.5-2) 
~ 2z!' Kz 
后 面 我 们 将 证 明 : 当 和 矩阵 K 是 满 秩 的 , 那么 是 正定 的 。 
现在 , 我 们 将 给 出 线性 代数 5 味 姑 中 的 一 些 定义 和 定理 (大 部 分 没有 给 出 证 明 )。 这 些 
知识 对 于 操作 协 方差 矩阵 非常 有 用 。 
定义 5.5-1 如 果 存 在 数 和 和 非 零 值 由 使 得 特征 方程 RM = A 成立, 那么 入 就 是 xn 
维和 矩阵 了 的 特征 值 , 列 向 量 由 = [由 ， 和，…， 中 ,] 称 为 特征 向 量 。 
特征 向 量 总 是 需要 被 归 一 化 , 使 得 由 由 人 | 由 必 = 1。 
定理 5.5-1 当 且 仅 当 det(M - AT) = 0 时 了 ,和 为 方 阵 肛 的 特征 值 。 
例 5.5-1 (特征 值 ) 对 于 下 面 给 出 的 矩阵 : 
妹 只 
m= [2 4 
根据 定理 5.5-1 可 计算 M 的 特征 值 如 下 : 


ES Wi 
det | 2 jl = A)”—4=0 


由 此 可 得 





QH ”det 是 determinant( 行 列 式 ) 的 简写 , 工 表示 单位 矩阵 。 
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对 应 于 A! = 6 的 ( 归 一 化 ) 特 征 向 量 为 
(M—6DN9=0 
将 上 式 写 成 方程 组 的 形式 可 得 
—201 十 2 加 =0 1 
we a = 中 => 三 yl 
双 箭 头 符 号 “ 一 ”意思 是 “意味 着 ” 。 按 照 同 样 的 步骤 ,可 得 AM。= 2 的 特征 向 量 如 下 : 
24 十 24。 =0 、。 六 和 
2 和 2 二 0) 二 和 9- 二 (a 
并 不 是 所 有 n xn 维 的 矩阵 都 有 个 不 同 的 特征 值 或 rl 个 特征 向 量 。 有 的 时 候 , 一 个 矩阵 的 
特征 值 个 数 少 于 n, 但 该 矩阵 仍然 拥有 刀 个 不 同 的 特征 向 量 。 
定义 5.5-2 如果 两 个 n xn 维 的 矩阵 4 和 召 是 相似 的 , 那么 存在 一 个 nxn 的 可 逆 矩 阵 了 人， 
detT 关 0, 使 得 下 式 成 立 : 
T-1A4T=B (5.5-3) 
定理 5.5-2 ”如果 一 个 nxn 维 的 矩阵 民 与 一 个 对 角 和 矩阵 相 似 ， 当 且 仅 当 本 存在 史 个 线 
性 独立 的 特征 向 量 。 
定理 5.5-3 设 林 是 一 个 实 对 称 和 矩阵 ,特征 值 为 A，…，A， 那么 及 存在 ni 个 相互 正 交 
的 单位 特征 向 量 和 ，… ,中 , 了。 
讨论 因为 及 具有 个 相互 正 交 (也 是 独立 的 ) 的 单位 特征 向 量 , 这 类 似 于 对 角 短 阵 经 过 
一 个 变换 全 后 的 对 角 短 阵 A。 请 问 T 和 A 和 A 是 什么 ? 结果 可 由 下 面 的 重要 定理 计算 得 到 。 


定理 5.5-4 设 开 是 一 个 实 对 称 和 矩阵, 特征 值 为 1，…，An， 对 角 撼 阵 企 的 定义 如 下 : 


A1 0 
“| 
0 Mn 


根据 如 下 的 变换 可 知 , 及 和 A 是 相似 的 。 


TU-LMU = 和 (5.5-4) 
其 中 抵 阵 杂 的 各 列 由 有 硒 相 应 @ 的 单位 正 交 特征 向 量 内 构成 , = 1,，…,n, 即 
U= (91,.…, $n) (5.5-5) 
进一步 地 , 由 于 UU = 了 I( 即 UI = UU"), 所 以 式 (5.5-4) 可 以 写 为 
UTMU=A (5.5-6) 


讨论 “矩阵 U@ 如 果 满 足 VTU = 了, 那么 该 矩阵 就 称 为 西 矩阵 。 本 矩阵 具有 保持 范 数 的 性 
质 , 即 对 于 一 个 向 量 x = [mm , …，, za]7,x 距 离 原 点 的 欧 氏 距离 为 
IIxl| 全 CeTx)V2 


其 中 | x | 称 为 x 的 模 。 对 于 变换 = Ux, 如 果 UU 是 酉 矩阵 , 那么 





@ ”如 果 正 交 向 量 办 满足 | $i ‖ =1, 那 么 该 向 量 是 标准 正 交 的 。 
@ 也 就 是 说 由 对 应 的 是 A;, $i=1,…, no 
图 原文 此 处 为 用 , 疑 有 误 一 一 译 者 注 。 
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yl =yy = x UT Ux = |x|l? 
可 知 , 经 过 变换 y = Ux 后 , 新 问 量 y 与 旧 向 量 x 与 原点 的 距离 都 是 相同 的 。 
因为 一 个 实 随机 向 量 的 协 方差 矩阵 K 是 实 对 称 的 , 根据 式 (5.5-6) 可知, 只 要 UV 是 已 知 
的 , 那么 下 就 可 以 被 对 角 化 。U 的 各 列 正好 是 K 的 归 一 化 特征 向 量 , 只 要 特征 值 已 知 就 能 得 
到 特征 向 量 。 对 协 方差 矩阵 进行 对 角 化 是 应 用 概率 理论 中 一 个 非常 重要 的 处 理 过 程 。 这 个 过 
程 可 以 将 相关 的 随机 变量 转变 为 不 相关 的 , 而 且 如 果 是 高 斯 的 情况 , 还 可 以 将 相关 的 随机 变量 
转换 为 独立 的 。 


例 5.5-2 (随机 向 量 的 解 相关 ) 随 机 向 量 屠 = [XX。, 及 ] 7 的 协 方差 矩阵 D 如 下 所 示 ; 

2 -1 1 

Kxx=|-!1l 2 0 

1 0 2 
请 找 出 一 个 可 逆 的 线性 变换 ,及 通过 该 变换 后 产生 新 的 随机 向 量 了 了 ,了 的 各 分 量 是 不 相关 的 。 
解 ”首先 , 通过 求解 方程 det( Kxx - AT) = 0 来 计算 特征 值 , 可 得 Al = 2, As = 2 + V2， 
As =2 -V2。 接 下 来 , 再 通过 求解 方程 (Kyx -和 NT)$, =0,i =1,2,3 来 计算 三 个 特征 向 量 , 并 
将 得 到 的 特征 向 量 进 行 归 一 化 处 理 。 将 特征 向 量 除 以 各 自 的 模 , 即 可 得 到 归 一 化 特征 向 量 , 具 

体 为 


现在 ,我 们 可 以 创建 一 个 特征 值 矩 量 [= [由 中。 gs]。 通 过 转 置 操作 得 到 的 变换 可 使 了 的 
各 个 分 量 都 是 不 相关 的 

















1 L 
0 EE 
V2 V2 
| | 1 
了 区 
全 二 好 过 V2 元， 
二 生 上 
V2 2 2 
通过 变换 了 了 = A 尺 得 到 的 各 个 分 量 为 g 
==(X2+X 
1 5 2 3) 
| 1 1 
Y2 二 了 2X2+ 2X3 
二 1 1 
和 lt a 2X3 


下 的 协 方差 矩阵 为 





@ 我 们 给 玉 加 上 下 标 , 这 是 为 了 区 分 不 同 随机 变量 的 协 方差 矩阵 。 
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0 = 
实际 上 , 我 们 还 可 以 对 此 题 进一步 分 析 。 对 了 了 的 三 个 分 量 分 别 进行 缩放 ， 可 以 使 得 每 个 方差 
( 即 平均 交流 功率 ) 都 是 相同 的 , 这 个 处 理 过 程 也 称 为 白化 处 理 ， 接 下 来 将 会 较为 详细 地 讨论 。 
如 果 将 也 除 以 上, 巨 除 以 -上 ,防除 以 一 ,此 时 得 到 的 三 个 向 量 功率 都 是 相同 的 。 


VA VA VAs 


2 0 0 
Kyy=|10 2+vV2 0 
0 





如 果 由 ，.…， 由, 是 实 对 称 和 矩阵 了 的 正 交 单位 特征 向 量 ,那么 对 于 如 下 的 方程 组 : 
Mg = Ng 
二 二 
就 可 以 写成 如 下 紧凑 的 形式 : 
MU = UA (5.5-7) 


接 下 来 的 定理 将 会 在 实 对 称 和 矩阵 特征 值 和 它 的 正定 特性 之 间 建 立 一 个 联系 。 
定理 5.5-5 一 个 实 对 称 答 阵 用 是 正定 的 ， 当 且 仅 当 它 的 所 有 特征 值 都 为 正 。 
证 明 设 和 A; > 0, i=1,…, n, 对 于 任意 一 个 向 量 %,， 通过 线性 变换 X 全 VB 后 可 得 
x Mx = (Uy)' M(Uy) 


=y'Ay (5.5-8) 


当 且 仅 当 yy = 0 时 上 式 为 0。 不 过 如 果 = 0, 根据 Y = UY 可 得 xX = 0。 因此 可 以 证 明 当 所 有 
的 A，>0 时, 给 阵 朋 是 正定 的 。 反 过 来 , 我 们 还 需要 证 明 : 如 果 肢 是 正定 的 , 那么 所 有 的 A; 
都 是 大 于 0 的 。 因 此 ,对 于 任意 XxX 关 0 

0<x'Mx (5.5-9) 
特别 地 ， 式 (5.5-9) 对 于 中，…， 中 都 是 成 立 的 。 

0 < pi MO; = Ni, t= 1 ,n 

根据 上 式 可 知人 > 0, 全 = 1, …，,%。 因 此 一 个 正定 矩阵 眉 的 特征 值 都 是 正 的 。 另 外 ,行列 式 
det( 四 ) 的 值 等 于 所 有 特征 值 的 乘积 ， 因 此 det(K) > 0。 当 疏 是 满 秩 的 , 及 也 是 正定 的 。 


白化 变换 


给 定 一 个 零 均值 的 n xl 维 的 随机 向 量 圣 , 其 协 方差 矩阵 Kxx 是 正定 的 , 我 们 希望 找 出 一 
个 变换 了 了 = C 尼 使 得 Ky = 了 和 矩阵 C 被 称 为 白化 变换 , 从 对 到 了 了 的 过 程 称 为 白化 过 程 。 设 
Kyy 的 nn 个 特征 向 量 和 特征 值 分 别 用 $; 和 入 ;来 表示 ,i = 1,…, no 此 时 可 将 特征 方程 Kxxg; 
Aibi, ¢ = 1,.…,n, 写成 一 个 紧凑 的 形式 KxxU = UA, 其 中 UA [$i, $9,…, $,], A 
diag(A1, As，…, A)。 因 为 Kyy 是 正定 的 , 所 以 它 的 特征 值 都 是 正 数 , 且 存在 矩阵 4” 


I IE 
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diag(1AMA1 ,1AMAs，…, 1A/A,)。 对 于 变换 了 = CX = A”“U, 有 
Kyy = EIYY"] = EICXX CT] = A?2UTEIXX]IUA ?=A-2UTRxx TUA-L2 = 
A-12UT(Kxx ID)A-UV2 = A-UV2UT(TA)A-Y2” = A-W2(UTU)AA YN? = A-L2 
AA-!2 = 也 其 中 CTU = 了 
例 5.5-3 (白化 变换 ) 在 例 5.5-2 中 ,我 们 考虑 一 个 随机 向 量 鼠 ， 其 协 方差 矩阵 和 特征 向 
量 和 矩阵 分 别 如 下 : 











二 0 1/v2 1/vV2 
Kxx = 区 2 0| UL= |1/v5 -1/2 1/2 |=UT 
0 1l/yw2 i/ =175 
其 中 
& Do 0 
ER 
Q@ T= 
此 时 可 得 下 面 的 变换 即 为 白化 变换 : 
1/V2 0 0 0 1/V2 1/V5 
Y=| 0 (2 0 /VS TV 一 学 (|x 
0 0 @= V2 i 1 =1/3 








白化 变换 在 处 理 两 个 协 方差 矩阵 对 角 化 的 时 候 非常 有 用 由。 


5.6 多 维 高 斯 ( 正 态 ) 分 布 


对 于 一 般 情 况 的 n 维 高 斯 分 布 , 看 上 去 其 数学 表达 式 让 人 感到 头痛 ,其 实 把 它 看 成 一 维 
高 斯 概率 密度 函数 的 一 种 扩展 就 非常 容易 理解 了 。 实 际 上 , 我 们 在 4.3 节 就 已 经 介绍 过 二 维 
高 斯 概率 密度 函数 , 但 在 那里 我 们 并 没有 将 其 扩展 到 一 般 情况 。 在 这 里 考虑 n 维 的 情况 ,这 
样 任意 维 的 分 布 都 可 以 看 成 维 的 一 种 特例 。 如 果 已 知 了 是 一 个 (标量 ) 高 斯 随机 变量 , 其 均 
值 为 4, 方差 为 o” ,概率 密度 函数 为 


i 证 1 ey 
fx (7) V2mc exp 2 ( o 


首先 , 考虑 一 个 随机 向 量 圣 = [Xi,…, X,] ,其 各 个 分 量 X; 是 相互 独立 的 , 且 服 从 分 布 
Niy 0i) ,= 1,…, Nn。 那么 于 的 概率 密度 函数 就 是 各 个 独立 分 量 了 ，…, X 概率 密度 函 
数 的 乘积 ， 即 





(5.6-1) 


1 | 2 | - 
(2m)n/2cl .an 3 和 ai 


i=1 


其 中 心 和 oi 分 别 是 X; 的 均值 和 方差 , i = 1,…, n。 可 将 式 (5. 6-1) 写成 如 下 紧凑 的 形式 : 





@ 这 种 对 角 化 处 理 在 模式 识别 中 会 用 到 , 模式 识别 是 应 用 概率 论 的 一 个 分 支 。 比 如 我 们 想 对 两 组 数据 进行 区 分 , 如 果 数 据 
是 用 对 角 化 的 协 方差 矩阵 进行 表征 的 , 那么 区 分 起 来 就 比较 容易 。 
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产 四 = ry etp[- 计 一 各 Ka (一 和] (5.6-2) 
其 中 
0 
Kxx = | (5.6-3) 
0 o2 
= [ju，…, pn] ”det(Kxx) = [] ,07。 请 注意 Kd 为 如 下 表达 式 : 
Gi 0 
Kxx = a 
0 oz? 
男 外 ,由 于 X;, i = 1,…,n 是 相互 独立 的 , 根据 下 面 的 推导 可 知 , 协 方差 矩阵 及 xx 是 对 角 的 。 
EI[(X;—1)2] 人 eo? i=1,..,n (5.6-4) 
El(Xi— 1)(X;—1;)]=0, i#i (5.6-5) 


接 下 来 , 请 问 : 如 果 Kxx 是 一 个 正定 矩阵 (此 时 不 要 求 是 对 角 和 矩阵 ) 会 怎么 样 ? 将 任意 的 正定 
协 方差 矩阵 Kxx 代入 式 (5.6-2) ,此 时 仍然 满足 概率 密度 函数 的 要 求 吗 ? 如 果 可 以 , 把 互 称 为 
正 态 随 机 向 量 , fx(x) 为 多 维 正 态 概率 密度 函数 。 为 了 证 明 _fx(x) 确实 是 一 个 概率 密度 函数 ， 
我 们 必须 证 明 下 面 两 个 性 质 : 
fx(x)=0 (5.6-6a) 
以 及 
| fx (x)dx = (5.6-6b) 


(用 向 量 dx A dzidz…dz, 表示 一 个 体积 元 ) 假 设 对 始终 是 实 的 , 即 筷 ，…, X, 是 实 的 随机 变 
量 。 将 任意 正定 的 协 方差 矩阵 下 xx 代入 式 (5.6-2) 后 满足 式 (5.6-6a) 的 要 求 , 这 个 证 明 比 较 容 
易 , 我 们 将 其 留 做 练习 。 证 明 满足 式 (5.6-6b) 比较 复杂 , 接 下 来 将 给 出 证 明 。 


式 (5.6-6b) 的 证 明 如 果 访 (z) 如 式 (5.6-2) 所 示 , 那么 有 Kxx 是 一 个 任意 的 正定 协 方差 抵 
阵 利用 Zz A XX--j4 可 以 将 式 (5.6-2) 改 写 为 








A x 
9) oralet (Re 
其 中 
$(z) Sexp(—42TKE2) (5. 6-7a) 
同时 a 的 定义 如 下 : 
全 | plz)dz (5.6-7b) 
此 时 可 得 
2 Q 
| TY 


因此 我 们 只 需要 通过 估计 a 的 值 来 证 明 式 (5.6-6b) 是 成 立 的 (或 不 成 立 ) 。 
在 对 白化 变换 的 学 习 中 可 知道 ， 存 在 一 个 nxn 的 矩阵 C, 使 得 xx = CC 以 及 
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CT KixC = 了 成 立 (T 是 单位 和 矩阵) 。 将 如 下 的 线性 变换 用 于 式 (5. 6-7a) : 
z= Cy (5.6-8) 
为 了 理解 这 个 变换 的 意义 ， 首先 可 以 注意 如 下 的 等 式 : 


n 
ZKxkz=y'C Rx Cy = |y = > 
4=1 


所 以 (Zz) 的 表达 式 为 
%(z) = [ [ exp[—#y2] 
t=1 
接 下 来 , 我 们 要 用 到 高 等 微 积 分 中 的 一 个 结论 (参见 Kenneth Miller, [5 -5, p. 16]): 对 于 
式 (5.6-8) 给 出 的 线性 变换 ,其 体积 微 元 为 如 下 表达 式 : 
dz = |det(C)ldy 
其 中 dz A de21…d2, dydy1…dy,。o 因此 式 (5.6-7b) 可 变换 为 


oo 1 nN 
Q = | exp (3 > dy1.… dyn| det(C)| 
一 oo PR 


[| | jdet(C)| 


= [2r]?"/2?| det(C)| 
但 是 , 因为 Kxx =CC”, det(Kxx) =det(C)det(C”) =[det(C)] 或 者 
|det(C)| = |det(Kxx)|'? = (det(K xx ))'? 


因此 ， 下面 两 个 等 式 成 立 : 
a = (27)™/?[det(K xx )]®? 
Qa 
ER 





式 (5.6-6b) 得 证 。 

如 下 的 等 式 其实 满 足 了 一 个 概率 密度 函数 的 所 有 要 求 , 是 一 个 多 维 正 态 分 布 的 概率 密度 
函数 的 表达 式 。 
x— 1) Kxx(x— 1)] (5. 6-9) 





ae 1 世 
挛 罗 一 ryt ee 2 Pl 
现在 请 问 : 如 果 随 机 向 量 了 由 如 下 表达 式 给 出 , 请问 工 的 概率 密度 函数 是 什么 ? 
YS AX (5.6-10) 
在 这 里 4 是 一 个 nx%n 的 非 奇异 变换 , 答案 由 接 下 来 的 定理 给 出 。 
定理 5.6-1 设 尺 是 一 个 n 维 的 正 态 随机 向 量 , 协 方 差 矩 阵 及 xx 是 正定 的 , 均值 向 量 为 jo 
设 和 为 一 个 nr 维 的 非 奇 异 线性 变换 ,那么 了 A A 了 是 一 个 n 维 的 正 态 随机 向 量 , 协 方差 矩阵 
Kyy A A Kxx 4", 均值 向 量 为 B A Lu。 
证 明 根据 式 (5.2-11) 可 知 





fr(y) = >, | (5.6-11) 
i=1 8 
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其 中 了 是 尺 的 菜 个 函数 , 即 了 =g( 尺 ) A [gi1( 玉 ), …, 9,( 尺 ) ] ,XX; 是 方程 组 g(x;) -yy = 
0 的 根 , = 1,，…, 7。 J; 是 第 纪 个 根 的 雅 可 比值 














Og .Og 
OX1 Or: 
0 《1 
Ji = det ( 婵 ) =| : (5. 6-12) 
Ss Ogn Ogn, 
Bri Bn lw 
因为 A 是 一 个 非 奇 异 的 线性 变换 ,所 以 只 有 唯一 解 
Ax-y=0 可 得 x 二 A-'y (5.6-13) 
同样 地 
0 
BE -act 人 2 ) = det(A) (5.6-14) 
因此 有 
a l 1T4-1 TR-LIA-1, 
fr(y) = (Qn) det( Rx 7 dett A ep 3[A yh] KxxlA 'y— 4k)) 
(5.6-15) 
可 以 把 上 面 这 个 非常 复杂 的 表达 式 写 成 式 (5. 6-9) 那样 的 形式 吗 ? 首先 ,考虑 如 下 等 式 : 
[det(Kxx)]!'?|det(A)| = [det(AK xx 4T)]L2 (5.6-16) 


其 次 , 将 下 式 左边 的 第 一 项 和 最 后 一 项 左 乘 人 ,然后 将 4 放 入 协 方差 矩阵 的 逆 ， 凑 齐 等 式 可 得 
[A-iy—p KalA ly— n=ly— Axl'[AKxx AT] ily— Ap] (5.6-17) 
同时 , 因为 A AB=E[lY], AKxxA" =E[[Y-B][Y-B]'"] = Kyy, 所 以 式 (5.6-15) 还 可 
以 写 为 
1 
(27)"2 [det(K yy )] 





fr (y) = a exp[—3$[y — BI KyY [ly — 8])] (5. 6-18) 


接 下 来 就 有 一 个 非常 自然 的 问题 : 可 否 将 上 述 结论 进行 拓展 ?” 即 经 过 更 一 般 的 ( 非 平凡 
的 ) 线 性 变换 后 , 了 还 会 是 一 个 正 态 随机 向 量 吗 ? 接 下 来 的 定理 将 会 给 出 解答 , 这 也 是 定 
理 5.6-1 的 一 个 推广 。 

定理 5.6-2 设 肝 是 一 个 n 维 的 正 态 随机 向 量 , 协 方差 矩阵 Kxxy 是 正定 的 ,均值 向 量 为 w。 
设 A 是 一 个 m xn 的 和 矩阵, 秩 为 mL。 那 么 对 于 如 下 的 随机 向 量 : 

至 三 验 庆 Ai 吾 
向 量 了 具有 一 个 m 维 的 正 态 概率 密度 函数 , 协 方差 矩阵 及 yy 是 正定 的 , 均值 向 量 为 B, 具体 表 
达 式 如 下 : 
Kyy SAmmnKxr A (5.6-19) 

以 及 

该 定理 的 证 明 与 定理 5. 6-1 的 证 明 非 常 类 似 , 可 参阅 参考 文献 [ Miller 5-6, p. 22 | 。 

接 下 来 , 我 们 将 给 出 一 些 有 关 正 态 随 机 变量 变换 的 例题 。 
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例 5.6-1 (独立 性 变换 ) 设 慰 = [ 马 , 总 ] 为 零 均 值 的 正 态 随机 向 量 , 协 方 差 矩 阵 Kxx 为 
3 一 1 
i 全 3 | 
请 找 出 一 个 变换 了 = CK, 使 得 Y= [了 ,Yo] 是 一 个 正 态 随机 向 量 ,， 其 各 个 分 量 的 方差 为 1， 
且 不 相关 (当然 也 就 是 独立 的 ) 。 
解 
已 [7Y7T] = E[CXX'C]=CKxxC' =I 
上 式 最 右边 成 立 的 条 件 是 : 下 的 协 方差 矩阵 下 rr 满足 下 面 的 条 件 : 
i | 去 
人 8 3 
根据 前 面 有 关 白化 的 讨论 可 知 , 对 于 矩阵 C 一 定 有 C = A [六 ,其 中 402 是 如 下 所 示 的 正 
态 化 矩阵 : 
到 入。 0 
rns | an 
A; 是 Kxx 是 特征 值 , i =1,2, 敌阵 了 的 各 列 由 改 sx 的 归 一 化 特征 向 量 构成 (U”= [7) 。 计 算 
行列 式 det(Kxx -AT) = 0 可 得 A = 4, 和 A。= 2。 因此 有 





去 0 
A 4 0 Bs 1/2 Ws 
4-| | Z=A-!2= 








接 下 来 , 求解 下 面 的 方程 组 : 
(Kxx 一 AD =0, pill=1 
(Kxx — MD$,s=0, |p|=1 
可 得 出 = [1 中, - 1/V2] ,各 = [LE, LV ,因此 有 


U0=(gugs)= 却 |_1 1 








以 及 
， 
i | 法 
“| 于 十 
V2 V2 
为 了 验证 CRKxx 0” 是否 是 一 个 单位 协 方差 矩阵 , 可 计算 如 下 : 
1 1 Ei 
让 有 3 =| 2 | Tit 
有 | 2 Bl | 2 | lo 1 
V2 v2 2 V2 








有 的 时 候 , 我 们 希望 产生 随机 向 量 了 一 些 相关 的 样本 , 此 时 协 方差 矩阵 Kxx 不 是 对 角 的 。 
根据 例 5. 6-1 可 知 ,对 于 如 下 的 变换 : 
X=C-1Y (5.6-21) 
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其 中 C = ZU, 该 变换 可 产生 一 个 正 态 随机 向 量 , 协 方差 矩阵 为 Kxx。 因 此, 有 一 种 方法 就 是 
通过 非 相 关 的 样本 产生 相关 样本 , 对 计算 机 产生 的 独立 样本 通过 式 (5. 6-21) 的 变换 即 可 。 该 
变换 就 是 例 5. 6-1 的 一 个 道 过 程 。 

例 5.6-2 (相关 正 态 随机 变量 ) 联 合 正 态 随机 闷 和 已 的 联合 概率 密度 函数 表达 式 如 下 
所 示 [ 参见 式 (4.3-27), 以 及 4.3 节 中 的 相关 讨论 ]: 

1 一 工 
2mo2 = 
设 相 关系 数 p = -0.5。 请 根据 也 和 马 找 出 两 个 联合 正 态 随 机 变量 马 和 了 劝 ,使 得 包 和 取 是 
相互 独立 的 。 避 免 出 现世 = 了 ，= 0 的 情况 。 

解 ” 定 义 xX A (zi, Vs)',Y A (1, Ys)' 根据 p =-0.5, 可 以 把 指数 部 分 的 二 次 项 改写 为 








J xi xs(zlZ2) = (zt 一 2pzlz2 十 号 


X72 十 Zlz2 十 Z2 一 2%T | | =a + (b+ omnest dz2 


cd 


其 中 必 ， b,， C， Q 待 确定 。 我 们 立即 可 知 Q =d= 1, 又 因为 矩阵 是 实 对 称 的 ， 可 知 b =c =0.5; 
我 们 可 以 把 fxx(Xi， A 写 为 如 下 标准 形式 : 


f xx, (ZX1, T2) 三 二 全 二 75 exp ( (x 下 下 四 





其 中 
KL = 1 WW 汶 | 和 05 
XX ol-p) le dj 307|0.5 1 
我 们 需要 找 出 一 个 可 以 对 角 化 及 立 的 变换 。 这 样 就 会 使 得 和 了 的 联合 概率 密度 函数 拆 开 ， 
即使 得 了 和 了 。 相互 独立 。 
因子 4/30? 影响 了 四 去 的 特征 值 , 但 没有 影响 特征 向 量 。 为 了 计算 及 让 的 一 系列 正 交 的 
特征 向 量 , 我 们 只 需要 考虑 如 下 的 及 训 : 
1 | 


| A 5 
二 二 |o5 © 


此 时 可 得 = 3/2, 和 A。= 1/2。 相 应 的 归 一 化 特征 向 量 为 办 = (1/v2) [1, 1]7 ,加 = (LV2) 
[1，- 1]7, 因此 可 得 

~--A |1 Il 

5eli 1 
计算 对 角 协 方差 矩阵 并 不 需要 用 142 来 归 一 化 ,因此 我 们 在 此 省 去 这 个 因子 ， 可 得 

ZIT 玉 直 这 = diag(3,1) 
因此 所 需 的 变换 为 了 
Y=U'X 

也 就 是 





@ 在 这 里 并 不 需要 对 协 方差 矩阵 进行 白化 处 理 , 这 与 例 5.6-1 是 有 区 别 的 。 同 样 地 , 对 角 化 Kxx 与 对 角 化 有 Kxx 实质 上 是 等 
价 的 。 
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Y= Xi 二 XX。 

Y= X1— X» 
为 了 计算 fyy (Vy ，Y2) , 我们 要 用 到 第 3 章 的 式 (3.4-21 ) 

fyirs (V1, y2) i >》 fxsxs (Xi) /| 
1 

其 中 x; A [zf ,wl ] "表示 方程 组 y -Ux = 0 的 nn 个 根 , J; 表示 雅 可 比值 , % = 1,…, Nn。 
对 于 n = 1, 方程 y - Uix = 0 只 有 唯一 的 解 





bh VY1++ y2 
i Yi 
2 
雅 可 比值 为 
0O9 1 1 
an (wm) an |=. 
因此 可 得 
1 Yi+y 纵 雪 
fyiys (VY1,Y2) = afX1xX2 (2 玫 -一 
1 y? y2 
~ V2no? | | ] Ee . | 20"? 
其 中 0o' A V30。 


例 5.6-1 和 例 5.6-2 是 下 面 定理 的 特例 。 
定理 5.6-3 设 尺 是 零 均值 的 正 态 随机 向 量 , 协 方差 矩阵 有 Kxx 是 正定 的 。 那 么 存在 一 个 
n xn 维 非 奇 异 答 阵 C, 使 得 通过 下 列 变换 后 : 
了 = C-I 
了 了 的 各 个 分 量 卫 ，…，, 了, 是 相互 独立 的 ， 且 方差 为 1。 
证 明 设 C- =A- YU, 那么 Kxx = C0" ,得 证 。 
例 5.6-3 (一 般 瑞 利 分 布 ) 设 轩 = [X,, ,Xs] 是 一 个 正 态 随 机 向 量 ,其 协 方差 矩阵 为 
Kxx = oI 
请 计算 4 下 | =VRI + 避 + 向 的 概率 密度 函数 。 
解 ”事件 |R, 友 7?} 的 概率 就 是 RR, 的 概率 分 布 函 数 Fa (7)， 因 此 有 


1 于 
|(2™)3/2[o2]3/2] 川 人 - 27 os (7? 十 22 站 大 ) dzx1 dza dz3 





FRs(7) = 


其 中 FA (wi, Yo, XW3): VXI + V2 +W3 三 7}。 同时 给 出 如 下 定义 
A 
2Z1 三 Ccosy 


Z2 会 zsindcosb 


rT3 一 (sinopsinoO 


240 概率 、 统 计 与 随机 过 程 ( 第 四 版 ) 
上 面 的 变换 实现 了 从 直角 坐标 系 到 球 坐 标 系 的 转换 。 这 个 变换 的 雅 可 比值 为 sin$。 根据 这 
个 变换 ， 可 得 Fh (7) 的 表达 式 为 (7 > 0) 


| 四 1 入 2T T 这 全， 
ERs(r) (On) 37 )373 | bo. | exp -所 | ”sinp dtd0dy 





4m 2 
-本 


对 Fa(7) 关于 7 求 导 即 可 得 到 fn(7) 的 表达 式 如 下 : 


o .2 
fRs(7) EE 


9 
T= 


20? 








exp | | -ul(7) (5. 6-22) 


其 中 以 (7) 是 单位 阶 跃 函 数 ， 太 (3/2) = Vm/2。 式 (5.6-22) 是 对 第 2 章 中 介绍 的 二 维 瑞 利 分 布 的 
一 个 拓展 。 对 于 更 一 般 的 7 维 瑞 利 分 布 , 即 RR, A 上 导 上 =V 下 +… + 有 如， 其 概率 密度 函数 表达 式 为 





orn—1 r2 
fa (7) = Fa) [ao exp | | (7 (5.6-23) 
证 明 式 (5. 6-23 ) 需要 用 到 nl 维 的 球 坐 标 系 。n 维 球 坐 标 系 在 许多 数学 参考 书 中 都 有 介 


绍 5 ?9 式 (5.6-23) 的 理解 很 具 挑战 性 , 我 们 将 它 留 给 读者 。 


5.7 ”随机 向 量 的 特征 函数 


在 式 (4.7-1) 中, 定义 了 一 个 随机 变量 的 特征 函数 
Dx (w) 全 Eleio™] 
可 以 将 上 面 这 个 定义 很 自然 地 扩展 到 随机 向 量 。 设 妃 = [XX ,…, XY,] 是 一 个 nn 维 的 实 随机 
向 量 , w = [ol，…， own] 是 一 个 n 维 的 实 参 数 向 量 , 那么 可 定义 对 的 特征 函数 如 下 : 
Dx(w) S Elei® X] C5: 7:1) 
标量 情况 的 定义 也 是 显而易见 的 。 对 于 连续 随机 向 量 , 可 按照 下 面 等 式 来 计算 式 (5.7-1): 


Dx(w) = | fx(x)ei? xdx (5.72) 


在 式 (5.7-2) 中 我 们 采用 了 % 重 积分 , 以 及 紧凑 的 表达 式 dx = dwi…dx,。 如 果 脏 是 离散 的 随 
机 向 量 , 那么 可 通过 联合 概率 质量 函数 来 计算 Bx( ww) 


十 co 
Dx(@) = > Pxr(x)ei®'* (5.7-3) 


上 面 的 这 个 求 和 表达 式 是 n 重 求 和 。 

对 于 上 面 两 种 情况 , 我 们 发 现 除 了 多 了 一 个 负 号 , Bx(w) 就 是 fx(x) 或 者 Px(x) 的 %w 维 
傅 里 叶 变 换 。 鉴 于 此 , 我 们 就 可 以 通过 双 维 傅 里 叶 逆 变换 来 得 到 概率 密度 函数 (仍然 要 多 出 来 
一 个 负 号 ), 也 就 是 _ 

fx(x) = i 亩 Dx(@)e jo xd (5.7-4) 


用 这 个 特征 函数 来 计算 联合 矩 非 常 有 用 , 接 下 来 将 通过 一 些 例题 来 进行 讲解 。 
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例 5.7-1 ( 求 混合 矩 ) 设 及 A [及 ,如 , 束 ] ,ww A [wi, ws, wa3] ,请 计算 [及 ,于 , 玉 ，]。 
解 ” 因 为 
OK(wl,w2,w3) = | 上 四 万 (zlizaizs)ejloazz+Towazz+wazal dzi dra drs 
求 偏 导 可 得 


1 ODx(w1,w2,03) 
J3 OwW1O0wW200w3 








Ww1==w2=w3=0 
Co oo Oo 

= | | | TI1T2T3 fx (T1, To, T3) dr1 dr2 dr3 
一 Do J—00 J—o0 

会 BH[X1Ko Nal 


对 于 任意 阶 的 矩 ， 只 要 它 存在 , 都 可 以 用 例 5.7-1 的 方法 通过 求 偏 导 来 计算 得 到 , 也 就 是 














EIXK: ... Xkn] = 7 (K++thn) St” a rn) (5.7-5) 
n wW1=*…=wWn=0 
写成 下 列 的 形式 , 并 将 各 个 乘积 分 量 进行 军 级 数 展开 
Elexp(jw'X)] = E |exp ( > =E 立 co 
i=1 ie 
可 以 得 到 一 个 更 复杂 的 公式 
-> [Xt .Xk | 更 uy (5.7.6) 


不 过 这 个 公式 可 以 很 清晰 地 揭示 天 联合 特征 函数 和 联合 矩 之 间 的 关系 ， 1 = 1,…, no 当然 ， 
式 (5.7-6) 仅 在 下 面 表达 式 对 所 有 的 非 负 整数 ，…, 心 都 存在 的 时 候 才 成 立 ， 即 式 (5.7-6) 此 


时 才 收 敛 。 
E[XK: ... Xk"] 


从 式 (5.7-2)，, 我 们 还 可 以 得 到 特征 函数 的 一 些 重 要 性 质 。 
随机 向 量 特 征 函 数 的 一 些 性 质 


1 Bw | (0) = 1, 
2. Di (w) = Bx( -ww) (#* 表 示 共 轿 )。 
3. 如 果 Bx(w) 已 知 , 那么 入 各 分 量 各 子 集 的 所 有 特征 函数 都 可 知 。 
我 们 用 下 面 的 这 个 例子 来 讲解 最 后 一 个 性 质 。 假设 人 对 = [XY, 各, X] ”的 特征 函数 0 为 
Dir(wi, own, os) = Elexpj(wiX + os + waXs) ] ,那么 有 
Dx xs (01, 02) = Dx xs Xs (V1,02,0) 
Dx xs (OW1, 3) = Dx Xo Xs (1,0,w3) 


Dx (wi1) 王 Dx X2Xs (1， 0， 0) 





@ 当下 = [已 , 丈 , 刺 17 时 ,我们 用 @xr( .) 来 代替 Orxoa(，)。 
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在 第 4 章 曾 经 提 到 , 在 对 独立 随机 变量 求 和 的 问题 中 特征 函数 非常 有 用 。 因 此 , 假设 储 = 
[XX ，…，, X,]" ,了 X; 是 独立 的 随机 变量 , 边缘 概率 密度 函数 为 fx (x;),%= 1,…, ms 
区 一 区 平 : 直 怠 ， 
上 面 这 个 和 的 概率 密度 函数 可 计算 为 
jz(z) = fxi(z2)*...* fx, (2) (5,727) 
但 是 , 计算 式 (5.7-7) 的 这 个 nn 重 卷 积 是 非常 麻烦 的 。 用 特征 函数 就 可 比较 容易 的 计算 fz(z)， 
具体 如 下 : 


Dz (w) = Eleio(X1+…+X")] 


i=1 (5.7-8) 


一 [I Dx, (w) 


上 面 推 导 中 的 第 2 行 , 是 因为 已，…, X, 是 nn 个 独立 的 随机 变量 , i = 1,…, n, 因此 Y= 
9i(X;) 也 是 即 个 独立 的 随机 变量 , 所 以 有 [对 … 了 了,]= BL 了 ]…B[Y]。 对 式 (5.7-8) 进 行伍 
里 叶 道 变换 可 得 概率 密度 函数 fz(z)。 如 果 X; 是 离散 的 ,上面 的 结论 也 是 成 立 的 , 此 时 应 该 用 
到 概率 质量 函数 和 离散 侍 里 叶 变 换 。 接 下 来 , 我 们 将 用 一 个 例题 来 讲解 如 何 利 用 这 个 方法 来 
计算 随机 变量 之 和 的 概率 密度 函数 。 

例 5.7-2 (独立 同 分 布 的 泊 松 特征 函数 ) 设 及 = [已 ，…, 闷 ,]7, 其 中 闷 是 独立 同 分 布 的 
泊 松 分 布 随机 变量 , 分 布 参数 为 A, 人 = 1,…, Nn。 设 2 = XI +… + 及 ,。 各 个 概率 质量 函数 为 





大 一 入 
Px 人 = 下 (5.7-9) 
k! 
RS 从 exp(jwk) -人 
oD ci (Ow) -一 一 -一 一 一 一 6 
> 下 (5.7-10) 
一 eexp(jw)—1) 
因此 ,根据 独立 性 可 得 
Dz(w) = eexp0io) 一 1 
(5.7-11) 
Ee emA(exp(jw) 一 1) 
比较 式 (5.7-11) 和 式 (5.7-10) 可 知 ,Bz(z) 就 是 概率 质量 函数 Pz(k) 的 特征 西数 
大 一 G 
Pz(k) = ~— ee (5.7-12) 


kl ， 
其 中 a A nA。 因此 可 知 , Nn 个 独立 同 分 布 泊 松 随机 变量 之 和 也 服从 泊 松 分 布 , 分 布 参 数 为 nA。 
高 斯 ( 正 态 ) 分 布 的 特征 函数 
设 妃 是 一 个 实 的 高 斯 ( 正 态 ) 随机 向 量 , 协 方差 矩阵 Kxx 为 非 奇异 的 。 根 据 定 理 5. 6-3 可 


知 , 有 Kxx 和 Kxx 可 写成 如 下 形式 : 
Kxx = CCT (5.7-13) 
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K 站 =DD’', DE[c™! (5.7-14) 
其 中 C 和 DD 是 非 奇 异 的 。 1 上面 的 这 个 结 论 接 下 来 会 非常 有 用 。 根 据 定义 , 对 的 特征 函数 为 
bi DT 有 





(5.7-15 ) 
根据 下 面 的 变换 : 
z 人 DiIx— nl (5.7-16) 
可 知 
zz=[x—4]' DDTIx— nl] 
(5.7-17) 


= [x— 4] Kxx [x— hl 
这 个 变换 的 雅 可 比值 为 det(D") = det(DD)。 根据 式 (5.7-16) 的 变换 可 知 , 式 (5.7-15) 可 变换 为 


exp(jw 1) i 1 | 
i -rp fat | (到 =) -exp(je (D") 12) dz 





(5.7-18) 
我 们 可 通过 下 面 的 等 式 实 现 对 被 积 函数 的 完全 平方 : 
exp[—{3[2 2—2jw (DY) a} = exp(-3% (DT) 1(D) 0%) 
‘exp(—3||z — jD- oll?) 
如 果 采 用 如 下 的 结论 , 可 以 极 大 地 简化 式 (5.7-18) 和 式 (5.7-19) : (a) 如 果 Kxx = DD", 那么 
Ku = [DT]2D-;(b) det(Ki) = det(D)det(D') = [det(D)]: = [det(Kxx)]”, 因此 
有 1 det(D)1 ”= [det(Kxx)]“, 以 及 如 下 的 结论 


(5.7-19) 


1 i —1 2 
2 CW RA Ey SP —3||z—jD WwI| 
Dx(w) = exp (io 内 Phd Kxxo) @ )j73 | e 2 dZ 


等 号 右边 的 重 积 分 其 实 是 个 一 维 高 斯 密度 函数 积分 的 乘积 , 每 个 密度 函数 的 方差 都 是 1。 
因此 积分 结果 为 (2w)”, 与 分 母 (2r) ”抵消 后 可 得 正 态 随 机 向 量 的 特征 函数 如 下 : 
Dx(@) = expljw Tn — Sw Kxxo] (5.7-20) 
其 中 久 是 均值 向 量 , w = [wo ,…, w] ,Kxx 是 协 方差 矩阵 。 Bx(w) 是 多 维 复 高 斯 变量 w 的 
函数 ， 的 这 个 结果 并 不 令 人 惊讶 , 因为 我 们 
ee et ei 高 斯 函数 。 
类 似 地 , 一 个 随机 向 量 鼠 = [X,,…, Xv]” ne 


Mx(t) 人 a 
-2 


=0 k2= 
根据 上 面 的 等 式 ， 可 仿照 计算 特征 浮 数 的 方法 来 计算 联 全 和。 


小 结 


在 本 章 中 , 学 习 了 多 个 随机 变量 的 计算 。 我 们 发 现 , 将 多 个 随机 变量 整合 成 随机 向 量 当 成 
整体 来 进行 处 理 更 方便 。 我 们 还 发 现 , 对 独立 同 分 布 的 随机 变量 进行 排序 后 可 以 推导 出 许多 
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统计 结果 , 此 时 不 用 知道 随机 变量 的 具体 分 布 。 在 5.3 节 中 , 推导 出 了 面积 随机 变量 (概率 密 
度 函 数 在 有 序 样本 之 间 的 面积 ) 的 分 布 和 它 的 各 阶 和 矩 。 在 接 下 来 的 章节 中 , 我 们 还 看 到 有 序 随 
机 变量 在 统计 学 的 一 个 分 支 中 扮演 着 重要 的 角色 , 称 为 非 参数 统计 学 或 稳健 统计 学 。 在 实际 
情况 下 , 描述 个 随机 变量 的 联合 概率 分 布 往往 是 非常 困难 的 , 因此 对 于 随机 向 量 的 情况 , 我 
们 往往 握 弃 概率 密度 函数 (或 概率 质量 函数 ) ， 而 改 为 采用 那些 非 完全 但 更 实用 的 性 质 。 我 们 
致力 于 那些 低 阶 矩 的 特性 , 尤其 是 均值 和 协 方差 。 因 为 在 信号 处 理 , 通信 理论 , 模式 识别 , 多 
重 回归 分 析 以 及 工程 和 科学 的 其 他 领域 , 协 方差 矩阵 都 非常 重要 , 我 们 还 用 到 矩 阵 理论 和 线性 
代数 的 许多 绪论 来 揭示 这 些 和 矩阵 的 性 质 。 

我 们 还 讨论 了 多 维 高 斯 ( 正 态 ) 分 布 以 及 随机 向 量 的 特征 函数 。 通 过 线性 变换 ,高 斯 随机 
向 量 映射 成 高 斯 随机 向 量 。 我 们 还 介绍 了 如 何 推导 一 个 变换 , 该 变换 可 以 把 相关 的 随机 变量 
变 为 不 相关 的 。 定 义 了 随机 向 量 的 特征 函数 , 该 函数 在 计算 各 阶 矩 的 过 程 中 非常 有 用 ,而 且 在 
求解 独立 随机 变量 之 和 的 问题 中 也 非常 有 用 , 我 们 用 一 些 例题 对 其 进行 了 讲解 。 最 后 根据 向 
量 和 矩阵 方法 , 推导 出 了 高 斯 随机 向 量 的 特征 函数 , 该 函数 曲线 形状 类 似 于 高 斯 分 布 。 


习题 


( 带 * 号 的 习题 带 有 一 定 的 难度 , 需要 花 更 多 精力 对 教材 进一步 的 学 习 。) 
5.1 设 肥 (x) 由 如 下 公式 给 出 : 
fri(x) = Ke™* u(x) 

其 中 A = (A1,，…, A,)", A，> 0 对 于 所 有 成 立 , x = (zw ，…, ww)" ,如 果 x; 宇 0, u(x) =1,%=1， 

…, ?2 ,其余 情况 (x) = 0,K 是 一 个 待 确定 的 常数 。 请 问 K 取 多 少 才 能 确保 fx(x) 是 一 个 概率 密度 

函数 ? 
5.2 设 B, 是 个 不 相交 的 穷 举 事件 ,i = 1,…, n。 试 证 明 导 的 概率 分 布 函数 为 如 下 形式 : 

Fx(x) = > Fxls;(x|Bi)PLB] 


i=1 





5.3 已 知 -=-z <% <w,i=1,2,.…,%, 设 
) 2 
fr(X) = | 本 区 > (3 )} 


请 证 明 所 有 的 边缘 概率 密度 函数 都 是 高 斯 的 。 
5.4 设 孔 , 怠 和 XY 为 三 个 标准 正 态 分 布 随机 变量 。 设 Y s | 各 ,Xo,X| ,i =1,2,3。 根 据 X; 的 大 小 排 
序 得 到 页 < Y < 了。 请 计算 联合 概率 密度 函数 fi yoy (Yi , Ya, Ys)。 
5.5 计算 习题 5.4 的 概率 分 布 函 数 Fy(y) ,i = 1, 2, 3, 并 绘 出 函数 曲线 。 
5.6 在 5.4 节 中 , 我 们 介绍 了 随机 变量 Z1 和 2。 请 证 明 Z, 和 的 联合 概率 密度 函数 为 式 (5.3-7)。 
5.7 ”对 于 随机 变量 Vi A 2 -1,W = 2 , 请 证 明 在 区 间 0 < -2 < w < 1, 联合 概率 密度 函数 fw(%， 
W) = n(n - 1) ,在 其 余 区 间 fy,w(v, w) = 0。 
5.8 根据 上 题 的 结果 , 试 证 明 在 区 间 0 <v < 1,f,(vV) = n(n -Jo 一 (1 一 v),n 二 2, 其 余 区 间 . 刀 (2) = 0。 
5.9 请 证 明 在 函数 户 ,az(2， 22, 23) = 31 在 区 间 0 < z， < 2。< < 1 下方 的 面积 为 1。 
5.10 计算 贝塔 分 布 的 累积 分 布 函数 , 其 中 n = 2,B =0。 
5.11 请 推导 式 (5.3-11), 式 (5.3-12) 和 式 (5.3-13) 。 
5. 12 利用 Excel 或 其 他 类 似 的 计算 机 程序 来 生成 贝塔 函数 的 概率 分 布 函数 曲线 , n 取 值 分 别 为 15, 20, 30， 
B=1。 当 即 一 o 时 , 请 描述 曲线 的 变化 。 
5. 13 请 推导 式 (5.3-14) 。 
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5.14 ”请 证 明 : 平均 而 言 , n 个 有 序 随机 变量 将 f(x) 下 方 的 面积 平均 划分 成 了 n+1 等 份 。 

5. 15 ”请 证 明 : 任何 一 个 由 两 个 向 量 外 积 生成 的 矩阵 Mr = 卫 X", MM 的 秩 至 多 为 1。 并 请 解释 为 什么 R A E[XX"] 
是 满 秩 的 ? 

5.16 设 |X,i=1,…,n| 是 XX 的 nn 个 独立 同 分 布 的 观测 值 , 17, i = 1, …, n| 是 相应 的 顺序 统计 量 , 请 
证 明 Fy,(y) = Fi3(y)。 

5.17 设 | 总 ,i = 1, …, ml 是 了 的 nw 个 独立 同 分 布 的 观测 值 ,| 了 ,i = 1, …, ?| 是 相应 的 顺序 统计 量 , 请 
证 明 F =1-(1-F(y))"。 

5.18 设 |X,,i=1,…,n| 是 的 nn 个 独立 同 分 布 的 观测 值 ,| 了 ,, i = 1, …, n| 是 相应 的 顺序 统计 量 。 请 
证 明 Fy, (y) = ZE( )ricy) 1 ~ J 


5.19 ”随机 变量 了 和 Xs 的 联合 概率 密度 函数 如 下 : 


. 3 
fxixs(T1 22) = { i6: |71|<4, 2<zxz2<4 


0， 其 他 
请 证 明生 和 总 独立 且 正 交 的 。 
5.20 设 四 ,是 个 相互 正 交 的 随机 向 量 , i = 1, …, n, 请 证 明 


?| 宝玉 上 | = 六 | X11"] 


(提示 : 可 以 使 用 定义 入 |? 会 XX? )。 
5.21 设 玉 ;是 个 不 相关 的 随机 向 量 , i = 1, …, n， 均值 为 ; 会 B[ 圣 ;], 请 证 明 


sl || > —Ji) 站 2 El | 琉 ; -Ai 1] 
5.22 设 ¥; 是 nn 个 不 相关 的 随机 向 量 , 妃 [] = pi, i = 1,…, n。 请 证 明 


E 2 一 Li) 》 (RE 一 mo 二 OK; 
j=1 ti 一 1 


4 一 1 








其 中 五， 人 五 [ (于; 一 Hi) (X, -J 1o 
5.23 请 解释 为 什么 下 面 的 这 些 矩 阵 都 不 是 随机 实 向 量 的 协 方差 矩阵 。 


2 -4 0 4 0 0 6 1+j 2 4 6 2 
-4 3 : [ 6 0 区 5 -| [ 9 | 
0 二 ” 治 0 0 -2 2 -1 6 9 12 16 


(a) (b) (c) (d) 

5.24 (a) 设 向 量 肝 的 均值 BE[ 和 及] = 0, 协 方差 矩阵 Kxx 如 下 所 示 : 
Ki | 3 V2 

» 5 V2 4 

请 找 出 一 个 线性 变换 C, 使 得 YY = CX 的 协 方差 矩阵 为 

1 0 

xl 1 


请 问 C 是 否 是 一 个 酉 变换 ? 
(b) 考 虑 如 下 的 两 个 实 对 称 和 矩阵 A 和 4 7": 


9] ly 
Dy 和 A 


请 证 明 : 当 a = c, a' = c' 时, 乘积 44' 是 实 对 称 的。 更 一 般 地 , 如 果 4 和 4' 是 任意 的 实 对 称 矩 
阵 且 满足 44' = A'4, 那么 44' 是 实 对 称 的 。 
提示 : (K. Fukunaga [5-8, p. 33]. ) 设 K, 和 是 正定 的 协 方差 矩阵 , 利用 下 面 的 等 式 : 
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5.25 


5.29 
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K=akKi aK 其 中 ai,az >0 
变换 4 具有 下 列 性 质 : 
ATKA=I 4TKI4=AGO) = diag(A 人 ,AGOD) 
(a) 证 明 4 满足 下 面 的 等 式 : 
K'KA=AAY 
(b) 证 明 A" KA 4 A 也 是 对 角 和 矩阵 , 即 42) A diag(A!*?,…, A 人 ) 。 
(c) 证 明 A" KA 和 A"K,A 具有 相同 的 特征 向 量 。 
(d) 证 明 42) 和 A 的 特征 值 具有 下 面 的 关系 : 
A(2 = zl 一 aaA 人 9)] 

同时 证 明 A 特征 值 是 A'” 特征 值 的 逆序 。 
(J. A. McLaughlin [5-9]. ) 设 和 u 个 向 量 妃 = (Xi 0) = 1 下 ,M,N > m, 以 及 一 个 
nxn 的 矩阵 S = Dp 
(a) 请 证 明 : S 可 以 写成 如 下 的 形式 : 


S=— WW 
mm 
其 中 WA ( 互 1 ， ek | > 
(b) 矩阵 8 的 最 大 秩 是 多 少 ? 
(0) 设 S' 4 十 WW, 请 问 SS' 是 多 少 维 的 ? 请 证 明 : 5 的 前 m 个 非 零 特征 值 可 通过 下 面 的 等 式 计算 得 到 : 
SD= DA 


其 中 @ 是 S' 的 特征 向 量 矩 阵 , 4 是 特征 值 矩 阵 。 同 时 请 问 $S 与 $' 特征 向 量 特征 值 之 间 有 什么 联系 ? 
(d) 请 问 通过 S' 来 计算 特征 向 量 比 通过 S 有 何 优势 ? 
(a) 设 是 一 个 n xn 的 协 方差 矩阵 , AK 是 一 个 实 对 称 的 扰动 矩 阵 。 设 和 A; 是 K 的 特征 值 , $; 是 相应 的 

特征 向 量 , i = 1, …, n。 请 证 明 玉 + AK 特征 值 的 一 阶 近似 和 A! 为 

N= (K+AR)G, i=1,.,n 
(b) 请 证 明 特征 向 量 的 一 阶 近似 为 ， 
Api = bi9, 
7=1 

其 中 by = $j)AKg$/(A; -Aj), iz, bi = 0。 
设 Ai 之 A2 之 5 芝 A 是 实 对 称 和 矩阵 1 的 特征 值 。 当 i 三 2 时 ， 设 由 » 中 ， 中 是 相互 正 交 的 单位 
特征 向 量 , 分 别 对 应 于 入, ，…, Ai 请 证 明 : 当 wl =1, xz =…=zurbi-1l=0 时 vwMWu 的 最 
大 值 为 A;, 即 A; = max(u” Mu)。 
设 随机 向 量 侍 = (各, 各, X，)” 的 均值 A BE[ 尼 ] 为 


4 = (5,—5,6) 
方差 阵 为 
六 多 =1 
K=| 2 5 0 
-1 0 4 
请 计算 如 下 变换 的 均值 和 方差 阵 : 
Y=AT¥+B 


其 中 4 本 (2， -1,2)",B = 5。 


5.30 


5.31 


5.34 


5.38 
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联合 正 态 随机 向 量 脏 , 和 有 *, 的 联合 概率 密度 函数 表达 式 为 


并 十 兰 zlz2 十 23)] 





2 
fxix2(T1, 72) = TF exp[—}(2 


请 找 出 一 个 非 平 凡 变 换 4, 使 得 页 和 了 相互 独立 , 并 计算 了 和 二 的 联合 概率 密度 函数 。 
(m=) 
Y2 X2 
如 果 召 = ，…, X,)” 的 均值 为 = (pj,，…, jw)”, 方差 为 
= {Ki}nxn 


对 于 变量 随机 变量 了 
Y =p1X] i + pnXn 


请 证 明了 的 均值 和 方差 分 别 为 如 下 表达 式 : 


ElY] = > ,Pin 
i=1 
n 也 
oY¥ 3 >》。 > Pipjy Kij 


i=1 j=1 
请 计算 圣 = (XY ,…, X,)” 的 联合 特征 函数 , 其 中 X; 是 独立 同 分 布 的 柯 西 随机 变量 
fx;(7z) = 


a 
T(Z2 十 a2) 
根据 得 到 的 结果 计算 了 = 守成 的 概率 密度 函数 。 
请 计算 对 = (X ，…, X,)” 的 联合 特征 函数 , 其 中 X; 是 独立 同 分 布 的 二 项 分 布 随机 变量 =1,…,n。 
请 根据 得 到 的 结果 计算 Y = 又 ,把 的 概率 质量 函数 。 
设 评 = (XX,，…, XX)" 是 一 个 高 斯 随机 向 量 , 均值 BE[ 肝 ] = 0。 请 证 明 下 式 成 立 : 

EI[XIX2X3X4] = Ki2K34 + KisK24a + KiaK23 

其 中 K; 是 互 的 协 方差 矩阵 下 = {K, hs 的 元 素 。 
设 闷 , 如 ,的 联合 概率 密度 函数 为 fx (xi, za, za) = 2/3 (wi +2a +2s) ,定义 域 为 8S = | (xi, %;， 
ws):0 <wi1,¢% =1,2,3|, 在 其 余 区间 为 f(xi, Ys, xs) = 0。 请 计算 协 方差 矩阵 , 并 请 证 明 X,， 
Xs, X; 虽然 不 是 相互 独立 的 , 但 却 不 相关 。 
设 卫 ,X 是 联合 高 斯 的 , 均值 为 零 , 协 方差 矩阵 如 下 : 


2 | 


A 3 2 


请 找 出 下 = ( 马 马 )7 的 一 个 白化 变换 。 编 写 一 个 MATLAB 程序 来 绘 出 x 和 z 的 散 点 图 , x 和 zs 分 
别 是 忆 和 总 的 实现 。 同 时 也 画 出 白化 处 理 后 的 散 点 图 。 仿 真 的 点 数 分 别 选择 100 和 1000。 

(线性 变换 ) 设 Y= 忆 ” ag 加 ,k= 1，…,n, 其 中 aw 是 实 常数 , 矩阵 4 = [av]ww 是 非 奇异 的 ， 
| 马 } 是 随机 变量 。 设 BB = 4-:。 请 证 明王 的 概率 密度 函数 方 (加 ，…, 2 ) 为 如 下 表达 式 : 


n 
fr(yi,:.:, Yn) =|det Blfx(zi,:.-,7n), Zi = D> biryk, = ris 
k=1 


(辅助 变量 ) 设 了 = 玉 ” X,Y = 台 ， ,Xi。 请 计算 联合 概率 密度 函数 fyiy(y, Ys)。 提 示 : 引入 辅 
助 变量 了 = 久 ”成 ,下 =3,…,n, 并 对 每 个 辅助 随机 变量 进行 积分 。 证明 fy(9，…, y,) = fx(% 


= 


一 Yo ，… ,Yn 一 Yn， Yan) (本 题 以 及 上 题 来 自 Probability and Stochastic Processes for Engineers, C. 
W. Helstrom，Macmillan ，1984 ,改编 自 该 书 例 4.9,p. 190)。 
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统计 学 , 也 称 为 概率 应 用 , 是 一 门将 概率 原理 应 用 于 实际 数据 的 学 科 。 统 计 学 的 两 个 主要 
领域 是 参数 估计 和 假设 检验 。 在 参数 估计 中 , 我 们 用 实际 数据 来 估计 参数 的 均值 , 标准 差 , 方 
差 , 协 方差 , 概率 或 分 布 等 。 在 假设 检验 中 ,如 果 可 行 的 话 , 我 们 在 一 个 概率 背景 下 用 实际 数 
据 来 实现 合理 的 判决 , 假设 检验 将 在 第 7 章 讨论 。 

我 们 知道 , 概率 论 是 一 门 基于 公理 与 定义 的 数学 理论 , 其 主要 结论 是 定理 、 推论 、 关 系 和 
模型 。 尽 管 我 们 可 以 应 用 概率 论 对 相当 广泛 的 问题 进行 建 模 和 求解 , 但 求解 这 些 问题 的 先决 
条 件 在 现实 中 并 不 是 轻松 获得 的 。 举 例 来 说 , 假定 我 们 给 定 :N(j, o”) ,要求 计算 事件 B= 
| -1<X< +1| 发 生 的 概率 , 可 以 很 容易 地 得 到 结果 Fsx((1-/)Mr) -Fsy(( 一 1 一)/o)。 然 
而 在 现实 中 , 如 何 来 确定 参数 ww、ec? 更 进一步 , 我 们 如 何 能 确定 是 高 斯 分 布 呢 ? 在 前 面 的 章节 
中 , 运用 几 个 重要 的 关于 随机 变量 刺 的 参数 , 如 均值 或 期 望 人 W, 标准 差 wx , 方差 ox, 以 及 随机 
变量 全 和 了 的 相关 性 参数 LXY], 等 等 。 在 实际 中 ,用 估计 器 来 估计 这 些 量 , 这 些 估计 器 是 
随机 变量 的 函数 。 一 个 好 的 估计 器 的 特征 是 什么 ”对 于 同一 参数 如 何在 不 同 的 估计 器 中 进行 
选择 ?如 何 描述 一 个 估计 量 与 真实 但 是 未 知 值 的 趋 近 程 度 。 

已 经 有 很 多 关于 参量 估计 问题 的 文章 , 但 关于 这 个 问题 的 研究 并 没有 停止 , 这 从 档案 文献 
中 可 以 得 到 证 明 。 有 几 本 关于 统计 学 和 参量 估计 方面 的 好 书 , 都 带 有 一 点 工程 味道 (如 参考 文 
献 [6-1, 6-2 ] ) , 另外 , 在 互联 网 上 有 海量 的 素材 。 

例 6.1-1 ( 抛 硬币 公平 吗 ?) 假 定 你 加 入 一 个 抛 硬币 的 游戏 并 想 了 解 这 是 否 公 平 。 你 抛 一 
个 硬币 结果 是 “正面 "( 阳 ) ， 能 得 到 什么 结论 ? 其 实 除了 能 得 到 抛 硬币 可 以 抛 得 到 "正面 "的 结 
论 , 很 难得 到 其 他 结论 。 现 在 重复 试验 并 观测 到 “背面 "(T), 能 得 到 抛 硬币 是 公平 的 结论 吗 ? 
显然 这 是 一 个 不 可 人 靠 的 结论 。 假 定 抛 硬币 10 次 并 观测 得 到 |H, T, T, H, H, T, H, T, H, 
T|, 基于 观测 结果 并 运用 概率 的 频率 解释 , 我 们 可 以 得 到 PLH] =ng/n =5/10 =0.5， 由 此 得 
到 抛 硬币 是 公平 的 结论 , 但 这 结论 还 不 是 很 确定 。 另 外 ,如 果 观 测 得 到 结果 是 |H, 了， H,， 
H, H, H, T, H, H, H| , 你 会 得 到 抛 硬币 倾向 于 得 到 “正面 "的 结论 ,同样 也 不 是 很 确定 
的 。 那 么 有 定量 的 方法 来 描述 这 种 不 确定 性 (或 确定 性 ) 吗 ? 下 面 , 将 介绍 一 些 方法 来 回答 
这 个 问题 。 


独立 同 分 布 观测 量 
在 上 面 的 抛 人 硬币 试验 中 , 可 以 定义 一 个 随机 变量 
了 A H 朝 上 
0， 人 TT 朝 上 


重复 试验 n 次 , 得 到 一 个 随机 变量 序列 X;, i =1,…, n, 我 们 称 之 为 独立 同 分 布 (i.i. d) 观 测 
量 。 这 些 独立 同 分 布 观测 量 |X;; i=1, …, n| 称 为 了 的 维 随机 样本 。 在 某 些 情况 下 , 被 
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称 为 全 体 集合 , 了 的 观测 量 称 为 n 维 随 机 样本 。 在 这 个 试验 中 , ;是 伯 努 利 分 布 变 量 , 可 以 推 
广 到 任意 分 布 , 只 要 其 有 相同 的 分 布 函 数 、 概 率 密度 或 概率 集合 男 数 , 并 且 各 个 观测 不 受 前 面 
的 分 布 结果 影响 。 
我 们 在 讨论 中 心 极限 定理 时 已 经 介绍 过 独立 同 分 布 概念 , 由 于 其 在 统计 学 中 非常 重要 , 这 
里 将 更 详细 地 加 以 前 述 。 在 上 述 例子 中 , 由 于 抛 硬币 过 程 不 受 以 前 或 以 后 抛掷 过 程 的 影响 , 因 
此 观测 量 是 独立 的 。 更 严谨 地 , X;, i =1, …, nn 的 联合 概率 集合 函数 
PT 2 = Pxi(T1)Pxs(T2).". Px (Zn) 
它们 是 独立 分 布 , 也 由 于 假定 在 所 有 抛掷 过 程 中 应 用 同一 硬币 并 且 其 不 受 试验 影响 。 即 有 
Px (2) = Prs(®) = :57 = (二 二 Px(z)， 一 co <Z< oo 
对 于 连续 型 随机 变量 而 言 独立 同 分 布 意味 着 
fx Xe (DZ1 7Z2… ,Tn) = fx (TI) fx (LT2) fx, (Ln) 
jxi(z) = fxs(7) = = fx, (2) Sfx(s), 0 <z<o%0 
独立 同 分 布 的 观点 与 很 多 读者 的 认识 有 冲突 , 比如 说 , 对 于 抛 硬币 这 样 一 个 经 过 物理 和 统计 检 
验 的 公平 判决 , 若 前 9 次 抛掷 结果 是 “正面 ”, 一 些 读者 会 期 望 第 10 次 结果 为 “背面 ", 以 达到 
某 种 平衡 。 但 硬币 对 以 往 的 结果 没有 记忆 , 因此 第 10 次 “正面 “背面 ”的 概率 依然 一 样 9。 
例 6.1-2 ( 同 分 布 条 件 的 失去 ) 研 究 一 个 理发 店 顾客 到 达 速 率 。 我 们 将 一 个 工作 日 (早晨 
7 点 至 下 午 3 点 ) 分 成 16 个 半 小 时 的 间隔 ,计算 各 间隔 顾客 数目 。 假 定员 ,1 =1，…，,16 表示 
在 第 衬 个 间隔 顾客 到 达 数 目 。 这 里 已 ;不 是 独立 同 分 布 的 ( 同 分 布 前 提 不 满足 ) 。 我 们 可 以 期 望 
在 早晨 上 班 前 比 其 他 时 刻 有 更 多 的 顾客 ,除了 午休 时 段 。 


例 6.1-3 (有 偏 随机 样本 ) 一 个 生产 养 麦 食品 的 早餐 供应 公司 意图 说 明 吃 荞麦 食品 可 以 
减肥 。 为 此 目的 , 公司 雇用 一 调查 员 来 调查 试图 通过 吃 荞麦 食品 来 减肥 的 人 。 调 查 员 从 吃 荞 
麦 食 品 的 人 中 随机 选取 , 但 结果 并 不 显示 莽 麦 食品 可 以 减肥 , 调查 员 将 调查 范围 缩小 为 体重 低 
于 平均 值 的 人 。 令 及 ,表示 第 纪 个 调查 对 象 吃 了 荞麦 食品 三 个 月 后 减轻 的 体重 ， 可 以 看 到 从 公 
平 调查 得 到 的 集合 | 及 ,| 与 通过 有 偏 调查 得 到 的 集合 |X;| 分布 是 不 同 的 。 另 外 , 我 们 可 以 将 此 
问题 描述 成 一 个 假设 检验 问题 ， 即 吃 养 麦 食 品 可 以 减肥 以 及 不 能 减肥 两 个 假设 。 

例 6.1-4 ( 非 独 立 序 列 ) 一 个 保守 的 赌 徒 玩 了 nn 轮 二 十 一 点 , 他 从 筹码 处 换 了 100 美元 
的 筹码 , 但 每 轮 仅 下 注 1 美元 。 令 了 ,表示 第 纪 轮 筹码 的 金额 , 则 及 ;, i =1,…, Nn，, 是 独立 的 序 
列 吗 ? 很 明显 , 及 ,,! = 成 +1， 因 此 四 ,并 不 是 相互 独立 的 ; 举例 来 说 , 尽管 分 开 来 的 概率 都 不 
为 零 , 我 们 有 P[X, =10, X;,! =12] =0。 令 了 了 表示 赌 徒 在 第 i 轮 赢 (或 输 ) 的 金额 则 有 Y; = 
+1,， 那么 了 ,$=1,…，, N 是 独立 序列 吗 ? 答案 是 独立 序列 @@， 因 为 第 空 轮 的 输赢 与 之 前 或 之 
后 的 结果 无 关 。 

例 6.1-5 (回顾 联合 概率 及 总 和 概率 ) 假 定 获取 三 个 独立 同 分 布 的 0/1 的 伯 努 利 随机 变 
量 买 , 表示 为 及， 及 ，@@。 耻 的 概率 集合 函数 Px(X) =p”q “, Pp +4 =1, X=0,1。 观 测量 的 


@ 尽管 如 此 , 如 果 在 大 量 的 抛掷 结果 中 ,“ 正 面 " 出 现 的 次 数 明显 超过 “背面 "出现 次 数 , 则 抛 硬币 的 公平 性 的 假定 需要 重 
新 确认 。 可 以 用 假设 检验 (参见 第 7 章 ) 将 此 问题 假设 为 “可 能 公平 "或 “可 能 不 公平 ”。 

@ 此 游戏 有 几 个 假定 , 一 是 发 牌 人 是 公正 的 , 二 是 在 赢 或 输 之 后 不 改变 战略 。 

图 ”注意 此 处 子 ; 为 离散 随机 变量 。 
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联合 概率 集合 函数 为 
Px xaXs(T1, T2,T3) =p 9 


注意 到 这 与 和 式 了 人 XI +Xs +X 的 概率 集合 函数 是 不 同 的 ， 和 式 的 概率 集合 函数 为 Py(k) = 


ZI1 十 Z2 十 Za 3 一 (Z1 十 Z2 十 Z3) 


区 
b(k; 3, p) = je 


概率 估计 


假定 基于 观测 量 的 随机 事件 如 的 概率 估计 0 为 PLE] =ns/n =0. 44,n 为 样本 数 , ns 为 随 
机 事件 五 发 生 次 数 。0. 44 与 事件 发 生 的 真实 概率 的 接近 程度 如 何 ? 而 事件 发 生 的 真实 概率 通 
常 是 难以 获得 的 。 假 定 一 个 医学 研究 者 想 要 获得 其 病人 红血球 细胞 小 于 一 般 尺寸 的 比例 (概率 
x100)，, 其 真实 比例 应 该 由 病人 身体 中 所 有 小 于 一 般 尺 寸 的 红血球 细胞 除 以 所 有 的 红血球 细 
胞 获得 , 然而 不 会 这 么 做 。 尽 管 如 此 , 我 们 可 以 通过 几 滴 血 中 获得 相当 接近 的 估计 。 另 一 个 例 
子 , 假定 美国 的 一 个 州 有 343 065 名 有 效 选 举人 , 并 有 144 087 投票 给 了 共和 党 , 则 随机 选 出 
一 个 人 , 投票 给 共和 党 的 概率 为 0.42。 然 而 , 调查 所 有 343 065 名 选举 人 的 费用 太 高 (或 时 间 
不 允许 ), 因此 , 调查 员 需 要 从 更 小 的 随机 样本 中 做 出 预测 。 我 们 假定 调查 员 随 机 选取 了 512 名 
选举 人 , 其 中 225 名 投票 给 了 共和 党 , 则 共和 党 的 投票 率 估计 为 0.44。 注 意 到 如 果 随 机 样本 
数 足 够 小 , 则 共和 党 投票 率 的 估计 可 以 为 零 至 一 中 间 的 任何 数 。 举 例 来 说 , 如 果 仅 调查 两 名 选 
举人 , 而 他 们 都 投票 给 了 共和 党 , 则 共和 党 的 投票 率 估 计 为 1! 但 这 个 估计 是 完全 不 真实 的 ! 
另 一 方面 ,如 果 可 以 说 出 “以 接近 0. 98 的 置信 概率 估计 得 到 共和 党 的 投票 率 介 于 0. 42 ~ 0. 44 
之 间 ”, 则 这 个 共和 党 投票 率 调查 的 声明 就 比较 可 靠 。0. 98 的 概率 表明 我 们 基本 可 以 确信 共 
和 党 的 投票 率 介 于 42% ~44% 之 间 。 而 常规 的 投票 率 估计 并 不 是 一 个 相当 确信 的 数据 ， 随 着 
调查 样本 的 减 小 会 变 得 更 加 不 确信 。 在 现实 中 , 我 们 倾向 于 提供 具有 可 靠 性 分 析 的 估计 结果 ， 
而 不 是 无 可 靠 性 分 析 的 估计 结果 。 

参量 估计 的 中 心 任务 是 重 构 必 然 会 (或 几乎 会 ) 发 生 的 事件 , 也 就 是 说 , 这 些 事件 是 以 固 
定 概率 发 生 的 。 这 并 不 意味 着 对 概率 九 的 估计 是 不 可 信 的 或 无 意义 的 。 举 例 来 说 , 假定 一 个 
有 数 千 辆 小 车 的 租车 公司 , 发 现在 第 一 年 底 其 n 辆 车 中 有 mz 辆 由 于 损耗 需要 更 换 。 在 所 有 
条 件 都 不 变 的 情况 下 , 若 该 公司 第 二 年 有 ns 辆 车 , 则 可 以 期 望 大 约 有 Pr 辆 车 在 年 底 会 需要 
更 换 , 或 许 会 多 一 点 , 或 许 会 少 一 点 , 其 中 4Ans/ni 是 第 二 年 小 车 需要 更 换 的 概率 。 从 公司 
的 管理 层 观点 看 , 估计 值 pm 对 第 二 年 的 计划 和 预算 是 非常 有 用 的 数据 。 

下 述 的 例 6. 1-6 说 明了 应 用 统计 学 的 基本 原理 能 够 得 到 非常 确定 性 的 结论 。 

例 6.1-6 (估计 湖 中 鱼 的 数目 ) 下 述 问题 是 为 了 阐述 统计 学 能 够 用 于 得 到 有 意义 的 必然 
事件 。 美 国 渔业 和 野生 动物 协会 (FWS) 是 一 个 内 务 机 构 ， 对 巴 斯 湖 这 一 大 湖 中 鲈鱼 的 比例 感 
兴趣 。 为 此 目的 , 会 用 渔网 捕获 一 定数 量 的 和 鱼 来 分 析 其 组 成 。 用 Nn 表示 捕获 鱼 的 数目 , ns 表 
示 鲈 鱼 的 数目 , 则 鲈鱼 的 比例 估计 为 及 =ngs/n， 由 于 np 是 随机 的 ,因此 估计 也 是 随机 量 @@。 我 
们 不 将 即 视 为 随机 量 ， 因 为 我 们 可 以 预先 设置 刀 的 大 小 。 鲈 鱼 分 布 的 真实 概率 p 是 湖 中 鲈鱼 
的 数目 除 以 鱼 的 总 数 ， 这 个 概率 是 未 知 的 (由 于 鱼 可 能 互相 吃 掉 对 方 而 为 随时 间 稍 微 变化 的 变 





@ 在 第 1 章 中 提 到 , 绝 大 多 数 实际 问题 中 , 概率 是 需要 估计 的 。 
回 此 处 和 其 他 一 些 地 方 我 们 没有 用 大 写字 母 来 表示 随机 变量 。 
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量 ) 。 我 们 必须 仔细 区 分 随机 变量 mia( 是 一 个 函数 ) 和 它 的 实现 , 将 它 的 实现 加 一 个 上 标 。 例 
如 , ng 的 一 个 实现 为 喝 =58, 假定 丸 =133， 则 鲈鱼 的 概率 估计 为 方 ' =58/133 =0. 44D。 函 数 
ns 的 取 值 范 围 为 [0, nn] 中 的 整数 值 ， 而 实现 态 ' 是 鲈鱼 真实 概率 六 的 一 次 估计 ,下面 我 们 将 对 
巴 斯 湖 中 鲈鱼 数目 做 一 更 明确 的 说 明 。 假 定 对 所 有 鱼 样本 进行 一 一 检验 ， 令 
下 第 纪 条 和 鱼 为 钙 鱼 

0， 其 他 

则 X; 为 伯 努 利 随机 变量 , 概率 集合 函数 Pr (Z) =p”(1 -p)' “(z=0, 1)。 随 机 样本 | 忆 ,= 
1, …, ?| 由 nn 个 独立 同 分 布 随 机 变量 及 的 观测 量 组 成 , 系 即 是 否 为 鲈鱼 的 随机 变量 表示 。 我 


们 可 以 将 四 看 成 鱼 的 种 群 描述 。 随 机 变量 Z 4 六 员 表示 刀 个 样本 中 鲈鱼 的 总 数 ，ZN12A 方 即 
为 Dp 的 估计 。Z 是 独立 伯 努 利 随 机 变量 之 和 ,为 概率 集合 函数 b(k; nt, p) (参见 例 4.8-1) 的 二 
项 式 随机 变量 ,可 知 其 均值 为 mp， 标准 差 为 oy -VD( 了 -PD)。 我 们 下 面 生成 (几乎 ) 确定 事件 


=|np-3/np(1-p)<Z<np +3VI1D(1 -2D)}| 。 由 于 了 是 独立 同 分 布 随机 变量 之 和 , 根据 
中 心 极限 定理 ,可 以 应 用 正 态 分 布 来 近似 计算 P[ 轧 ]。 这 在 例 4. 8-3 中 已 有 计算 ,结果 是 


0.997。 我 们 也 可 以 应 用 Z/n4 育 重 写 P[E] 为 PLE] =P[(p-p)*<p(1-p)] =0.997, 奸 
议 读者 自己 验证 此 结果 。 其 中 参量 p 是 二 次 的 , 是 求解 (p -万 )? = (9/n)p(1 -p) 方 程 的 两 个 
根 p,， ps, 给 出 的 是 以 概率 0.997 生成 事件 对 应 方 的 积分 区 间 的 两 个 端点 值 。 端 点 值 为 


驴 +(9/m) 25+(9m 总 
Pu Pp2 = 11+ (0/n)] T EE: 下 pa) 1+ (9/n) Se 


对 于 n=133, ns =58, 我 们 有 PD' 二 0. 44, 并 因此 得 到 启 =0.31, 俯 二 0.57。 怎 么 解释 这 个 结 
果 ? 首先 注意 到 间隔 [0.31, 0.57] 并 没有 与 概率 相 联 系 , 这 个 间隔 可 能 包含 了 真实 概率 pp， 也 
可 能 没有 , 其 长 度 是 0.26 且 1P' -B=1PB' -让 1 一 0.13。 数 值 100 x 17' -加 | 有 时 又 称 为 误差 
范围 ， 在 此 处 为 13% @@。 由 于 两 个 端点 为 随机 变量 ， 因 此 端点 间隔 [Di，Ps | 为 随机 间隔 ,也 就 
是 说 ， 它 们 依赖 于 估 值 念 。 尽 管 如 此 , 平均 来 说 , 这 个 间隔 应 该 在 1000 次 实验 中 包含 有 997 次 
Dp 值 。 我 们 注意 到 湖 中 鲈鱼 比例 离 0 和 100% 很 远 , 但 我 们 可 以 确信 在 巴 斯 湖 中 鲈鱼 比例 在 
31% ~57% 之 间 。 

上 述 例 子 说 明了 统计 学 可 以 帮 有 我 们 对 巴 斯 湖 的 鲈鱼 数量 给 出 一 个 相当 明确 的 声明 ， 声 明 
可 以 这 样 写 : 研究 表明 ， 巴 斯 湖 中 44% 的 鱼 为 鲈鱼 , 误差 范围 为 +13% 。 

例 6.1-7 (估计 登革热 发 烧 概率 ) 报刊 文章 报道 四 ,在 佛罗里达 州 的 基 韦 斯 特 岛 ， 居 民 和 
游客 受到 登革热 病毒 威胁 ,这 种 疾病 由 携带 病毒 的 蚊虫 叮咬 所 致 。 尽 管 岛 内 旅游 部 门 说 游客 
受 病毒 感染 的 可 能 性 不 大 , 一 项 独立 调查 表明 ,在 随机 选取 的 240 名 居民 和 游客 中 , 有 13 名 
的 登革热 病毒 显 阳 性 。 有 些 人 质疑 样本 数量 太 小 , 结果 不 准确 , 实际 发 热 概率 应 该 小 得 多 。 下 
面 根据 以 上 述 随 机 样本 数 ， 以 95% 的 置信 度 计算 登革热 病毒 感染 的 真实 概率 的 置信 区 间 。 

解 ”真实 概率 的 估计 为 万 = 开 /1,， 其 中 尺 为 二 项 式 随机 变量 , 即 


XA 














@ 估计 器 的 实现 有 时 称 为 一 个 估计 , 也 就 是 一 个 数值 。 
@ 通常 用 代数 符号 表示 误差 范围 , 例如 此 处 用 +13%。 
习 《纽约 时 报 》2010 年 7 月 23 日。 
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Pk [在 n 次 尝试 中 有 上 次 成 功 | 会 b(k;n,p) 二 (7) pt (1 DJ 

其 中 [PDP] =p, Var[P] =p(1 一 p)/n。 根 据 数据 我 们 计算 得 到 均值 估计 为 DP' =13/240 = 

0.054。 由 于 n 污 1, 应 用 二 项 式 分 布 的 正 态 近似 并 定义 标准 正 态 随机 交 量 卫 :N(0, 1) 为 
XES(p—p)/VpL -p/n 

则 概率 2 的 95% 的 置信 区 间 为 求解 P( 一 2oer5 < 下 <0o0s5) =2Fsy (Wo.9s) —1 =0.95, 即 0.975 家 

1.96。 则 

万 一 了 

Vp(L —p)/n 

应 用 例 6. 1-6 中 的 方法 , 可 以 得 到 p 的 95% 置信 区 间 为 多 项 式 1.016p2? -0.124p +0. 003 =0 的 

根 ， 即 Di =0.033, p, =0.089。 这 样 , 就 以 95% 相信 感染 率 为 每 30 人 感染 1 人 至 每 11 人 感染 

1 人 之 间 。 这 个 结果 会 影响 到 你 的 基 韦 斯 特 岛 旅行 计划 吗 ? 


6.2 估计 器 


估计 器 是 随机 变量 的 函数 , 用 于 估计 参数 但 并 不 依赖 于 参数 。 下 面 通 过 几 个 例子 来 说 明 。 

例 6.2-1 (包装 的 真相 ) 一 个 消费 者 保护 协会 (CPA) 想 证 实 超 市 出 售 的 熟 火 鸡 的 鸡 胸 内 
在 包装 上 标注 的 “70% 肉 , 30% 水 ”的 真实 性 。 火 鸡肉 由 “Sundry 农场 ”制作 ,CPA 购买 了 5 包 
来 检测 肉 的 百 分 含 量 (mcp)。 用 及, 表示 第 纪 包 的 mecp，CPA 采用 公式 @，= (1/n) 区 
估计 平均 mcp。 测 量 得 到 5 包 火 鸡肉 的 mcp 分 别 为 : 68% , 82% , 71% , 65% , 67% ， 由 此 平 
均 mcp 为 70.6% 。 

70. 6% 表示 估计 器 01 的 一 个 实现 , 通常 称 为 一 个 估计 。 若 CPA 从 “Sundry 农场 ”购买 另 
外 5 包 熟 的 火 鸡肉 , 计算 的 结果 无 疑 会 与 前 面 得 到 有 些 细微 差异 。 

例 6.2-2 (包装 的 真相 继续 )CPA 试图 估计 “Sundry 农场 " 火 鸡 肉 的 肉 含量 变化 率 ， 采 用 
公式 @ = ((1/n) "(XZ (La) 台 ” 加 )”) ”代入 n=5 并 利用 上 题 数 据 得 到 近似 6% 
的 变化 率 。 


例 6.2-3 (包装 的 真相 继续 )CPA 由 于 在 上 一 问题 中 采用 @。 来 测量 变化 率 受 到 质疑 ， 建 
议 用 @ = ((1A(n--1)) 台 " (和 (1/n) 允 ”加 )*)” 来 替代 。 当 采用 上 式 gs 并 代入 了 =5 
得 到 肉 含量 的 变化 率 为 6.7% 。 

下 面 我 们 将 看 到 @, 是 均值 的 无 偏 、 一 致 估计 器 , 8, 是 标准 偏差 的 有 偏 、 最 大 似 然 估计 器 , @， 
是 标准 偏差 的 无 偏 、 一 致 估计 器 。 还 有 一 些 估计 器 用 来 估计 Var[X] 、 方差 阵 和 其 他 高 阶 矩 。 

与 其 他 估计 器 相 比 , 一 些 估计 器 会 有 更 多 值得 称道 的 性 能 。 为 评价 估计 器 我 们 先 介绍 下 
面 一 些 定义 。 


定义 6.2-1 估计 9 的 估计 器 DO 是 观测 向 量 忌 = [成 ，…, 闷 ]7 的 函数 ,但 不 是 日 的 函数 。 


P[—1.96 < < 1.96] = 0.95 





Q@ ”基于 重复 观测 的 参量 估计 或 其 他 估计 , 如 瞬时 概率 , 理论 上 是 基于 大 数 定理 和 切 比 雪夫 不 等 式 。 
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定义 6.2-2 估计 有 的 估计 器 @ 当 且 仅 当 盏 [@] = 9 时 称 为 无 偏 。 估 计 的 偏差 D 定 义 为 
E[O] 一 0。 
定义 6.2-3 如果 估计 日 的 估计 器 日 是 观测 向 量 怀 A 人 [，…, 六 ,]" 的 线性 函数 ， 即 满足 
©=bTX (6.2-1) 
则 @ 称 为 线性 估计 器 。 向 量 玉 为 多 xl 维系 数 向 量 且 不 依赖 于 不 。 
定义 6.24 邻 0, 表示 基 于 任意 n(n >1) 个 样本 数据 了 ，…, 马 , 的 估计 器 , 则 如 果 对 于 
任意 & >0, 满足 
im Pll@,—0>a]=0, >0 C6. 22) 
则 @, 称 为 一 致 估计 器 。 式 (6.2.2) 的 条 件 也 称 为 依 概 率 收敛 。 
定义 6.2-5 ”车 估计 器 日 满足 
E[(© ~ 0)2] < E[(O©’ ~ 9)] (6.2-3) 
则 日 称 为 最 小 方差 无 偏 估计 器 。 其 中 ©' 是 任意 其 他 估计 器 且 满 足 B[O'] = EB[ 6 ] = 9。 
定义 6.2-6 ”车 估计 器 日 满足 
E[(© ~ 0)*] < E[(©’ ~ 9)3] (6.2-4) 
则 日 称 为 最 小 均 方 误差 (MMSE) 估 计 器 。 其 中 @' 是 任意 其 他 估计 器 。 
其 他 一 些 关于 估计 器 的 良好 性 质 , 如 有 效 性 、 完 备 性 和 不 变性 。 这 些 性 质 在 统计 学 @ 教 材 
里 讨论 , 这 里 不 做 深入 分 析 。 


6.3 均值 估计 


在 第 4 章 中 , 我 们 提 及 基于 一 组 数据 集合 的 数值 平均 是 与 所 有 数据 zi， za， … ,x 的 
同时 最 接近 的 一 个 数 , 从 这 个 意义 上 看 , ws 可 以 认为 是 这 个 数据 集合 的 最 佳 代 表 。 用 力学 观 
点 看 , 均值 就 是 集合 的 重心 。 尽 管 均 值 并 不 能 代表 集合 的 全 部 信息 , 但 其 在 任何 情况 下 都 是 一 
个 有 用 的 描述 。 例 如 , 在 一 场所 有 条 件 相同 的 标准 化 考试 中 , A 校 学 生 的 平均 分 为 92, B 校 学 
生 的 平均 分 为 71, 可 以 得 出 结论 , A 校 学 生 比 B 校 学 生 准 备 得 更 好 。 知 根据 大 量 资料 分 析 , 并 
考虑 一 些 相关 因素 (例如 性 别 、 收 入 、 种 族 、 生 活 方式 等 ) , 表明 吸烟 者 的 平均 寿命 为 67 岁 , 而 
不 吸烟 者 的 平均 寿命 为 78 岁 , 则 可 以 得 出 吸烟 有 害 健康 的 结论 。 

将 式 (4.1-1) 做 一 些 记号 上 的 调整 如 下 : 


1 Nn 
(nm) = (6.3-1) 
i=1 


我 们 看 到 , 数值 平均 与 数据 本 身 及 数据 量 n 相关 。 模 型 中 我 们 假定 数据 为 随机 向 量 X 的 nr 个 
独立 同 分 布 实现 , 也 就 是 说 , x 是 观测 也 的 一 次 实现 , x 是 观测 子 的 一 次 实现 , 以 此 类 推 。 每 





差 定义 通常 是 无 符号 的 , 也 就 是 说 可 以 为 正 也 可 以 为 负 。 


@ 偏 
回 ”参见 参考 文献 [6-1] 的 第 8 章 。 
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个 随机 变量 X; 都 是 函数 而 x; 是 该 函数 获取 的 一 个 数值 。 从 随机 样本 | 对 ，…, X, | 中 估计 未 知 
参量 wx ABLX], 得 到 均值 估计 函数 
人 


hx(n) 全 Fx (6. 3-2) 


我 们 发 现 fx(n) 就 是 在 6.2 节 中 的 估计 量 @。 式 (6.3-2) 的 结果 称 为 样本 均值 。 用 上 三 角 表 示 

Kx(n) 是 一 个 估计 量 而 不 是 实际 的 均值 。 男 外 ,也 可 以 得 到 方差 估计 量 函 数 (VEF ) 或 样本 方 

差 为 

一- (站 一 Px(n)) (6.3-3) 

于 

我 们 发 现 VEF 即 6.2 节 中 估计 量 @, 的 平方 。 上 式 为 两 个 VEF 计算 方式 中 的 一 种 , 另外 一 种 为 

0%(n) 全 =》 (Xi — x(n)) (6.3-4) 
| 

我 们 将 在 后 面 的 章节 中 讨论 方差 估计 量 。 现 在 ,要 求 读 者 采用 式 (6.3-3 ) 计算 方差 。 下 面 将 会 

发 现 , 采用 VEF 计算 式 (6. 3-3) 来 估计 ox 是 完全 合理 的 ， 其 一 个 合理 的 性 质 就 是 

[6%] =o%, 而 对 采用 式 (6.3 上 4) 来 计算 VEF 是 渐进 正确 的 。 


均值 估计 函数 的 性 质 ( MEF ) 


式 (6.3-2) 计 算得 到 的 均值 估计 量 是 无 偏 的 , 即 至 [wx(2) -px] =0, 很 容易 证 明 这 个 重要 
的 结论 。 我 们 有 


Eljx(m]=E 


i> |- 1 2 ED -入 D1 n= jx (6.3-5) 


i=1 
虽然 不 是 必需 的 0, 但 无 偏 总 是 希望 有 的 一 个 性 质 。 另 外 的 一 个 重要 性 质 是 ,我 们 希望 估计 量 
随 着 观测 量 的 增加 而 变 得 更 好 。 举 例 来 说 , 希望 由 式 (6.3-2) 计 算 的 MEF, 其 基于 100 个 观测 
量 的 计算 结果 比 基 于 10 个 观测 量 的 计算 结果 更 可 信 。 一 个 衡量 是 否 可 信 的 方法 是 分 析 无 偏 估 
计量 的 方差 , 若 无 偏 估计 量 的 方差 很 小 , 可 以 说 明 ix(m) 的 一 个 实现 离 真 实 均值 wx 很 近 ; 若 
方差 很 大 , 则 说 明 可 能 偏离 真实 均值 很 远 。 考 虑 如 (m) 的 方差 , 即 

a2(n) SE [x(n — (Elpx(n)))| = E [x(n) -wx 





=E Be (Xi — Lx ne +E 人 DC i— Lx)(X;— Hx) (6.3-6) 





@ ”如 果 估 计 器 有 其 他 良好 性 质 , 可 以 接受 其 小 小 的 偏差 。 
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在 第 一 行 中 , 公式 右边 应 用 了 MEF 的 无 偏 性 , 第 二 行 中 , 应 用 了 MEF 的 定义 并 将 wx 先 乘 后 
除 n, 第 三 行 中 , 应 用 了 和 式 的 平方 为 各 自 的 平方 加 上 不 同 下 标 交 叉 量 的 乘积 , 第 四 行 中 , 应 
用 了 均值 估计 器 的 线性 性 质 , 第 五 行 中 , 应 用 了 下 述 性 质 ， 即 对 于 i 寺 7, X; 和 XX; 相互 独立 上 且 
有 BL (X; -Ar) (2 -jx)]」=0。 在 此 借助 切 比 雪夫 不 等 式 (参见 4.4 节 ) 应 用 于 jx(n), 则 有 : 
对 于 任意 6 >0, 满足 
a Se) ny (6.3-7) 

式 (6.3-6) 和 式 (6.3-7) 均 是 统计 学 中 非常 重要 的 结论 。 式 (6.3-6) 表 明 均 值 估计 器 的 方差 随 着 
n 的 增加 而 降低 , 因此 可 以 选择 足够 大 的 样本 数 而 使 得 方差 足够 小 。 特 别 是 , 均值 估计 器 的 
方差 等 于 观测 方差 除 以 样本 数目 , 这 对 于 观测 量 了 为 有 限 方差 时 总 是 成 立 的 。 式 (6. 3-7) 表 明 
真实 均值 和 MEF 的 偏差 超过 一 个 确定 量 这 个 事件 当 样 本 数据 足够 大 时 是 不 太 可 能 发 生 的 一 一 
不 管 这 个 确定 量 多 么 小 。 一 个 满足 式 (6.3-6) 和 式 (6.3-7) 的 估计 量 称 为 一 致 性 估计 量 。 

例 6.3-1 (样本 数 对 均值 估计 的 影响 ) 了 为 正 态 分 布 且 ox =3, 我 们 希望 计算 P[ IL(n) 
-pxls0.1]。 为 阐述 样本 数 的 影响 ， 采 用 两 种 随机 样本 : 小 样本 (n=64) 和 大 样本 (n= 
3600) 。 和 根据 公式 





Pl-—0.1 < hx(n)— hx <0.1] 
=P[-0.1Vn/ox <Y <0.1Vn/ox] 


20 (WY) 


= 2erf (0.0333Vn) 


其 中 YA (jx -jx)/(ox/Vn) 的 分 布 为 N(0,1)。 当 n=64 时 , P[ Ijfx(n) -pxl<0. 2， 
对 此 结果 的 解释 是 : 对 于 64 个 样本 数 的 均值 估计 ,在 1000 次 实验 中 , 仅 有 200 次 的 估计 结 
偏离 真实 均值 0.1 或 更 小 。 当 n=3600 时 , 有 P[IAx(2) -wxls0.1]=0.95， 即 在 1000 he 
验 中 , 事件 | fx(n) -xl 夺 0.1| 大 约 发 生 950 次 , 也 即 在 一 次 实验 中 , 事件 | Kx(n) -xl 三 
0.1| 几乎 确定 会 发 生 。 

例 6.3-2 (获得 均值 的 95% 置信 区 间 需 要 多 少 样本 ?) 我 们 希望 计算 正 态 随机 变量 头 均 
值 的 95% 置信 区 间 , 需要 多 少 卫 的 观测 量 ,，…, X, 呢 ? 更 进一步 , 什么 参数 决定 了 区 间 的 
长 度 和 位 置 呢 ? 术语 “95% 置信 区 间 ” 意 味 着 我 们 在 实 线 上 寻找 最 小 (或 接近 最 小 ) 区 间 的 端 
点 , 在 1000 次 实验 中 , 会 有 不 少 于 950 次 离 真实 均值 的 范围 不 超过 这 个 区 间 。 用 概率 表示 为 

Plljix(n) 一 Ax| 和 Yo.9s] = 0.95 (6.3-8) 
其 中 el 下 标 表示 这 是 我 们 寻求 的 95% 置信 区 间 。 回 想 j 久 x(n) 分 布 为 
N(x, ox/n)， 因 


A hx(n)— Hx 
Te (6.3-9) 


分 布 为 N(0, 1)。 将 了 代入 式 (6.3-8) 并 重 写 如 下 : 
0.95 = P[—7Y0.95 < fx (1) — Hx < Yo.95] 
=P[-Yo9gsVn/ox < Y < YogsVn/ox] (6.3-10) 
= 2Fsn(Yo.os Vn/ox)—1 
上 式 第 二 行 中 ,将 随机 变量 扩 (n) -jx 变换 为 N(0, 1) 分 布 的 随机 变量 了 第 三 行 中 , 将 概率 表 
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示 为 标准 正 态 (SN)CDF。 式 (6.3-10) 的 最 后 一 行 就 是 我 们 寻求 的 结果 , 即 有 Fsx (Yo gvVn/ox) = 
0.975。 有 时 候 我 们 用 符号 Fon(z，) = 表示 标准 正 态 CDF, 数值 2 称 为 标准 正 态 的 久 百 分 
数 。 从 CDF 的 表格 中 (参见 附录 G) 可 以 得 到 20 9rs =1.96， 由 20.97s =YossVNn/ox 可 以 推导 Yo 9s 
Vn/gx = 1. 96， 即 yom = 1. 96ox/Vn。 回 到 问题 上 来 ,我 们 注意 到 事件 
px(n) -px| 夸 Yogs1 与 事件 [jx(n) -Yoos px 二 +Jx(n) +Yoos| 是 相同 的 , 则 从 式 (6.3-10) 
的 中 间 一 行 得 出 wx 的 最 小 的 95% 置信 区 间 为 

- $1 -96 认 + hx(n), 196- 广 thx(n)| (6.3-11) 
显然 , 这 个 结果 可 以 推广 到 其 他 置信 区 间 分 析 上 。 假 定 查 找 6 置信 区 间 ( 此 处 6=0.95), 则 jx 
的 6 置信 区 间 为 


- Z(1+56) 2 + hx (at + h(n)| (6.3-12) 


怎么 确定 这 是 最 小 区 间 ? 这 是 由 于 正 态 分 布 的 对 称 性 , 最 大 的 概率 在 其 中 心 位 置 。 对 于 其 他 
分 布 95% 置信 区 间 会 需要 更 多 的 支持 , 也 就 是 说 , 需要 更 大 的 区 间 。 

回 到 我 们 的 问题 , 若 ox 未 知 , 则 需要 多 少 样本 来 确定 最 小 的 95% 的 置信 区 间 。 很 明显 ， 
若 选 择 一 个 足够 大 的 区 间 ， 如 在 j 放 x(n) 两 侧 加 10 倍 标准 差 宽 度 ,， 则 尽管 样本 数 很 小 ,， 也 一 定 
会 获得 95% (或 更 多 ) 的 置信 。 但 在 两 侧 加 10 倍 标准 差 宽度 得 到 的 不 是 最 小 置信 区 间 , 这 个 区 
间 太 大 而 没什么 用 处 。 因 此 还 是 假定 最 小 置信 区 间 ，, 即 以 J 用 x(n) 为 中 心 , 区 间 宽 度 为 Wo ws = 
2 x1.96 xox/Vn。 显 然 ， 比值 ox/Vn 确 定 了 区 间 的 宽度 。 

车 ox 已 知 (实际 中 较 少 出 现 ), 则 我 们 可 以 确定 需要 多 少 样本 来 获得 一 个 指定 宽度 置信 区 
间 。 对 于 任意 6 置信 区 间 ， 置 信 区 间 的 宽度 为 

Ws = 2 x z(145)/2 Xx ox/Vn (6.3-13) 
我 们 从 式 (6.3-13) 可 见 , 当 互 的 标准 差 增 加 时 ， 置 信 区 间 将 变 宽 ( 对 真实 均值 增加 了 不 确 


定性 ) ， 当 样本 数 增加 时 ， 置 信 区 间 变 窗 ( 对 真实 均值 降低 了 不 确定 性 ) 。 当 需要 的 置信 上 比 增加 
时 ,置信 区 间 会 变 宽 , 这 是 可 以 理解 的 。 


当 ox 已 知 时 的 正 态 分 布 随机 变量 获得 均值 6 置信 区 间 的 步骤 


(1) 选 择 一 个 6 值 并 计算 (1 +6)/2。 
(2) 从 标准 正 态 分 布 概率 积累 函数 表 中 找到 满足 Fsk(zld:aa) = (1 +6)/2 的 百分数 


(1+8)/20 


(8) 获得 随机 变量 XX,，i =1，…, n 的 实现 ,i =1，…, ,计算 平均 值 p。 = 二。 


nN 
Ox Ox 
(4) 计 算 区 间 | -za 二 +HA 20 天 +p 。 
Vn Vn 


到 目前 为 止 , 假定 ox 是 已 知 的 , 然而 , ox 通常 是 未 知 的 (你 能 想到 一 个 已 知 ox 但 yx 未 
知 的 情形 吗 ?) , 这 个 问题 的 一 个 可 行 的 方法 是 将 式 (6.3-11) 中 的 ox 用 佑 计 值 蔡 代 , 也 就 是 
式 (6.3-3) 的 均 方 根 cx(%) ,同时 假定 了 还 是 正 态 分 布 。 事 实 上 由 于 cx(2) 的 随机 性 , 了 可 能 
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不 满足 正 态 性 ， 当 样本 数 不 是 很 大 时 结果 可 能 会 不 太 精 确 。ox 未 知 需 要 我 们 寻找 其 他 方法 来 
确定 规定 的 置信 区 间 , 下 面 采用 t 分 布 的 方法 就 是 其 一 。 


当 ox 未 知 时 的 正 态 分 布 随机 变量 的 均值 置信 区 间 


一 般 而 言 , 统计 学 中 通常 以 代数 形式 出 现 的 分 布 比 基本 概率 形式 要 复杂 一 些 , 其 中 之 一 就 
是 W. $. Gossett 引入 的 称 为 “学生 分 布 " 的 上 分 布 , 他 是 在 分 析 方 差 未 知 时 正 态 分 布 均值 的 置 
信和 区间 引入 的 。Gossett 被 认为 是 现代 统计 学 奠基 人 之 一 , 他 更 为 人 熟知 的 是 他 的 笔名 “学 
生 ”"D。 在 前 面 的 讨论 中 , 对 分 布 N(0, 1) 的 随机 变量 寻求 置信 区 间 的 端点 
y 人 hx(n) — Hx 
ox/Vn 
当 ox 未 知 时 , 我 们 得 不 到 置信 区 间 的 端点 , 因此 , 生成 一 个 新 的 随机 变量 , 其 ox 用 下 式 替 代 


nn 


1/2 
Ox(n) = (5 1 >》 (Xi— px 
i=1 


这 是 由 式 (6.3-3) 的 VEF 得 到 的 标准 差 值 。 新 的 随机 变量 定义 为 
Lx(m) — Hx _ hx(n) — Hx 


( n 请 ~ 6x(n)/vn (6.3-14) 








Tn_1a 
my (Xi — hx(m))? 
和 


称 为 % -1 自由 度 的 上 分 布 , 其 中 n=2, 3,…。 我们 不 是 将 7 _1 看 成 是 标准 正 态 随机 变量 的 
近似 , 而 是 产生 一 组 t 分 布 的 随机 变量 。7, ,的 概率 密度 函数 用 fr(x; n -1) 表 示 , 这 其 中 的 
关键 一 点 是 fi(x; n -1) 并 没有 未 知 参 量 ox， 从 而 允许 我 们 计算 均值 wx 的 置信 区 间 ， 而 
式 (6.3-9) 的 随机 变量 ox 未 知 则 不 能 计算 。 

对 于 读者 而 言 , 理解 产生 上 分 布 时 没有 将 ox 近似 为 ex 是 非常 重要 的 。Gossett 的 突出 贡 
献 就 是 采用 7 及 其 分 布 从 而 避免 用 正 态 分 布 来 近似 。 

为 更 好 理解 , 重 写 式 (6.3-14) 如 下 : 
Ti A (hx(n) — Kx)Vn/ox 上 Y 5 

( i 这 ( -es " (Zn_1/n— 1) (6.3-15) 


—1 
(n 本 











n 


其 中 YA (fx(n) -pa) Va/ox: NO,D), Ze 也 (一任 >)】 服从 如 1 自由 度 的 地 -分 


布 , 其 中 x 称 为 卡 方 (发 音 为 sky-square 中 的 ky-square) 。 卡 方 随机 变量 的 下 标 给 出 的 是 自由 
度 (DOF) , 取 值 范围 是 (0, w ) , 意味 着 当 z<0 且 n>1 时 , 累积 分 布 函数 (CDF) F(z; n) =0。 
六 分 布 在 第 2 章 有 介绍 , 由 于 其 具备 集合 样本 的 独立 同 分 布 特性 有 时 也 称 为 样本 分 布 。 根 
据 同 样 的 卫 ,, i =1, …, n, 虽然 不 是 很 明显 , 但 Y 和 儿 , ,可 以 证 明 是 统计 独立 的 (参见 附录 G) 。 
根据 式 (6.9.14) 可 知 , “随机 普 量 是 标准 正 态 随机 变量 (分 子 ) 与 卡 方 随机 变量 除 以 自由 度 的 平 
方 根 的 比值 。 

当 n 取 大 值 时 ,1 分 布 与 正 态 分 布 相似 (参见 图 6. 3-1) 。 实 际 上 , 7, 的 概率 密度 是 以 原 
点 为 中 心 的 对 称 形式 。 





@ 1876 -1937, 在 都 柏林 的 Arthur Guinness & Son 啤酒 厂 做 统计 质量 控制 工作 , 由 于 保密 原因 采用 笔名 “学 生 ”。 
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t 概 率 分 布 与 正 态 概 率 分 布 
fm G1), fon(a) 








图 6.3-1 了 随机 变量 的 概率 密度 函数 与 正 态 概率 密度 函数 形状 相似 , 特别 当 自 由 度 较 大 时 。 图 中 示 出 
当 n =3( 峰值 是 0. 36 ) 和 n =13( 四 方块 曲线 ,峰值 是 0. 39 ) 时 的 t 概 率 密度 函数 ,以 及 标 
准 正 态 概 率 分 布 函 数 , 除 了 尾部 有 些 变动 外 ,n=13 时 的 t 分 布 与 正 态 分 布 几乎 完全 相同 
为 寻求 wx 的 最 小 置信 区 间 , 考虑 事件 | -ta 大 了 大 to ,其 概率 为 
Pl-tars)/2 < Tn-1 < turs)/2] = 6 (6.3-16) 


同 前 ,wx 的 区 间 的 置信 度 设 定 为 100 x5% 。 用 Fr(t; nn-1) = | 六 (zi -1) dx 表示 7,. 随 


机 变量 的 概率 积累 函数 ,可 知 
0 = 2Fr(t(1+6)/2;7 ey 1 一 1 
或 等 价 于 


1 十 0 
2 


从 附录 G 中 提供 的 自由 度 % -1 的 t 分 布 的 概率 积累 函数 表 中 ,可 以 确定 t 百分数 ta ,ss。 最 
后 , 由 式 (6.3-14) 和 式 (6.3-16), 可 得 


Fr(t(ra)/2;n — 1) = (6.3-17) 


、 t(145)20 x (n) 3 t(1+5)/20 x (n) 
P [xl 天 < kx < hx(n)+ 一 =6 


上 式 给 出 了 1005 百分比 的 置信 区 间 


区 5 = 0 x (n) + | (6.3-18) 
置信 区 间 的 宽度 为 
WW 二 2 t+5)/20X(n) (6.3-19) 


Vn 
当 ox 未 知 时 ,基于 nn 个 观测 量 的 正 态 分 布 随机 变量 获得 均值 5 置信 区 间 的 步骤 


(1) 选 择 一 个 6 值 并 计算 (1 +6)/2。 

(2) 从 7T,_1 的 概率 积累 函数 表 中 找到 百分数 t0 ,sw 满足 Fr(to,s; nn-1)=(1 +6)/2。 
(3) 获 得 随机 变量 X;, i =1,…, n 的 实现 xz, i=1,…, n, 计算 x(n) ,Gx(n) 的 实现 。 
ura/20x(n) 


t 
1 RC hs 
Hx 


turyaox(n) 


es t 
(4) 计 算 区 间 的 数值 实现 [hx(n) - 
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例 6.3-3 ( 当 oy 未知 时 jx 的 置信 区 间 一 正 态 情形 ) 正 态 随 机 变量 及 的 21 个 独立 同 分 布 
观测 数据 (7 =21) 表 示 为 已 ， 妃 ，…， Xo ,基于 观测 数据 分 别 得 到 jx(n) 和 Gx(N)/Vn 的 实现 
为 3.5 和 0.45, 分 析 Jx(n) 的 90% 置信 区 间 。 

解 根据 P[ -加 m 入 To 三 加 mw] =0.9, 由 式 (6.3-17) 可 得 Fi(to6s, 20) =0.5(1+0.9) = 
0.95。 根据 五 =0.95, n=20 由 学 生 分 布 表 可 得 tos =1.725， 由 式 (6. 3-18) 得 对 应 的 区 间 为 
[3.5 -1.725 x0.45, 3.5 +1.725 x0.45] =[2.72, 4.28], 区 间 宽 度 为 W, 二 2 x1.725 x0.45 = 
1.55, 


置信 区 间 的 解释 


从 一 组 实现 中 得 到 的 置信 区 间 可 能 包含 也 可 能 不 包含 了 的 真实 均值 , 真实 均值 对 于 我 们 
是 未 知 数 。 那 么 , 我 们 说 “90% “置信 区 间 是 什么 意思 呢 ? 这 个 问题 的 回答 涉及 概率 的 核心 意 
义 , 也 就 是 在 重复 试验 中 想 要 的 结果 。 简 洁 地 说 ,“90% "置信 区 间 意 味 着 在 1000 次 试验 中 ， 
区 间 将 包括 900 次 的 真实 均值 。 是 否 我 们 将 正好 包括 900 次 的 均值 呢 ? 不 一 定 , 但 900 次 的 成 


6.4 方差 和 协 方 差 估计 
对 于 均值 为 wx、 方差 为 o3 的 正 态 随 机 变量 有 nw 个 观测 乱 ， 各 ，…, ,车 jx 已 知 ， 
则 无 偏 VEF 可 由 随机 样本 计算 
X(n) = 和 (下 一 px (6.4-1) 
不 难 证 明 Gx 是 ox 的 无 偏 的 、 一 致 估计 量 。 若 均值 未 知 , 则 VEF 
0 = — fix(n) (6.4-2) 


是 ox 的 无 偏 的 、 一致 估计 量 。 
式 (6.4-2) 的 Gx(n) 的 无 偏 性 由 





呈 | -和 -和 D+ | We 


1ij>k 





= (n—1)o? 
在 式 (6.4-3) 中 , 我 们 应 用 了 结论 B[ 肪 ] =o + ,i=1,…,n。 显然 , 若 有 
E|2_(X:-— 
ez 


2| = (n—1)o? 
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则 有 
E Bs 2 0 -如 =0? (6.4-4) 
又 有 方 括号 中 的 值 就 是 式 (6.4-2) 的 Gx(n), 因此 Gx(n) 是 of 的 无 偏 估 计 。 


式 (6.4-2) 的 从 (nn) 的 一 致 性 总 (n) 的 方差 为 
Var[l62(n)] 一 E[l(62. (n) < 02)2] 


n 


= Es ba -= | 
一 1 


i#j 


直接 计算 可 得 , 对 于 n >>1, 有 
Var[62.(n)] ~ :ci (6.4-5) 


其 中 cAB[(X -六 ] [参见 式 (4.3-2a)]。 假 定 cl (四 阶 中 心 矩 ) 存 在 ,应 用 切 比 雪夫 不 等 
式 , 有 


本 
Varl6z(n) 、c "oo ,0 (6. 4-6) 


Pll6%(n)—o|>a< 和 


即 Gx(n) 是 of 的 一 致 估计 。 

例 6.4-1 ( 正 态 随 机 变量 样本 均值 和 样本 方差 的 数值 计算 ) 正 态 随 机 变量 XX:N(3, 1/10) 
的 10 个 观测 数据 为 3.12, 2.87, 3.04, 2.77, 2.89, 3.34, 3.51, 2.44, 3.28, 2.95。 计 算 样本 
均值 和 样本 方差 的 过 程 如 下 : 

样本 均值 计算 


1 
Hs = 7600312 十 2.87 十 3.04 十 2.77 十 2.89 十 3.34 十 3.51 十 2.44 十 3.28 十 2.95) = 3.02 
样本 方差 计算 


; 1 
oa2 = =(0.01 + 0.225 + 0.0004 + 0.0625 十 0.0169 十 0.1024 十 0.2401 
s 9 


ne2 


十 0.3364 十 0.0676 十 0.0049) 
一 0.096 
在 信号 处 理 中 ,比值 (s/o,)* 有 时 称 为 信号 噪声 功率 比 , 在 此 例 中 为 95, 以 分 贝 ( dB) 表示 则 
为 10 xlg 95 =19.8 dB。 
正 态 随机 变量 方差 的 置信 区 间 


确定 方差 的 置信 区 间 涉 及 X 分 布 。 假 定 正 态 随 机 变量 也 的 个 独立 同 分 布 观测 为 邓 ,， 
Xs。，…, 已 ， 则 对 每 一 个 ; 





(6.4-7) 
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为 N(0, 1) 分 布 , 2 全 ba 是 自由 度 为 n 的 卡 方 分 布 , 其 概率 密度 函数 r(x; n) 如 图 6.4-1 


=1 


所 示 。 若 在 式 (6.4-7) 中 wx 未 知 , 我 们 用 式 (6.3-2) 的 jx(n) 替 代 , 得 到 一 个 新 的 随机 变量 


全 Xi — hx(n) (6.4-8) 
Ox . 


Vi 


其 和 式 2Z,，= DV 为 n-1 自由 度 的 卡 方 分 布 。 


06 n=2， n= 10 的 卡 方 概率 密度 函数 





-0.1 


图 6.4-1 n=2( 原 点 值 为 0.5 的 曲线 ) 和 n=10 的 卡 方 概率 
密度 函数 ,对 所 有 mn >2 ,概率 密度 函数 原点 值 为 零 


例 6.4-2 ( 卡 方 随机 变量 自由 度 的 计算 ) 假 定 友 定义 如 式 (6.4-8) 所 示 ， 随 机 变量 yi 
为 1 自由 度 的 卡 方 分 布 , 我 们 可 以 借助 代数 学 来 分 析 。 可 知 V+ =[ (Xi -XX)/ox V2]”， 
又 有 UA( 加 - 马 )MoxvE 为 N(0, 1) 分 布 , 因此 和 式 2 人 Fe 只 有 一 个 非 零 项 , 即 U? = 

为 计算 oz 的 6( 如 6=0.95, 6=0.98,6=0.99) 水 平 的 置信 区 间 ， 有 


Wy 二 时 的 Ax(mD)) 
d= X 


寻找 数值 0, 日 使 得 P[a < Ws <6] = Pa< 三 > (X,-fx(n))* <6]=6, 对 于 a>0， 
Ox i=l1 


b>0 且 b>a, 事件 if:a < 三 史 (Xpx(m))* < 61 等 价 于 和 共 :二 了 (X-f())? < 


Ox i=1 多 


Ox < Dy (Xi -x(n)) "| 5 则 方差 的 置信 区 间 为 呈 
a -Dy (6.4.9) 
由 于 W, 1 = 有 (X; -x(n)) 服从 各 -1 分 布 , 可 由 P[a<W,,<0b] =F:(b; nn -1)- 


Ox i=l1 
F(a; n 一 1) 求 解 a, b 的 值 。 为 避免 计算 最 小 区 间 时 复杂 的 数学 计算 , 我 们 采用 获得 接近 最 
小 区 间 的 方法 来 计算 a, b: W, 1 位 于 区 间 外 的 概率 为 1 -6=1 -Fi(b; n -1) +F(a; n-1)， 





@ 请 不 要 混淆 宽度 符号 Ws(a, 5) 和 X 随机 变量 符号 W,。 
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若 将 1 -6 描述 为 "错误 概率 ”, 指定 1 —-F:(b; 7 一 1 =:(1 -6)/2 及 FF: :(a; n-1)=(1 -6)/2, 
则 我 们 将 “错误 概率 ”均等 地 分 解 到 和 1 概率 密度 函数 的 尾部 ,有 w = 三 ri-5)/2， 满足 Fe (11 -5)/2 3 
n-1)=(1-6)/2,b= =X(1 140)/2 满足 Fl : (Xs 5)/23 72 一 -1) =(1 +6)/2。 数值 Zu 5 及 Xi14502 分 
别称 为 -1 随机 变量 的 (1 -86)/2 百分数 和 (1 +6)/2 百分数 。 方 差 的 8 置信 区 间 为 


{ = 2 (Xi — Px(m)) ,= 二 


(1+6)/2 这: (1-5)/2 177 


1 
(Xi— jx(n) 
{a mi) 2 Px ;| 


例 6.4-3 及:N(jwx, o%) 的 独立 同 分 布 观 测 数 据 16 个 , 分 析 ox 的 置信 区 间 。 采 用 “等 
错误 概率 ”方法 计算 ox 接近 95% 的 最 小 置信 区 间 的 a, b 的 数值 。 

解 F(a; 15) =Fi:(%wo 005; 15) =0.025, Fi:(wo 075; 15) =0.975, 从 卡 方 分 布 的 表 中 可 得 
@ = 00s = 20 b= oo =27. 5 


直接 估计 标准 差 
我 们 可 估计 标准 差 ox 为 


n 1/2 
dx(n) = (i xo) (6.4.10) 
于 


这 实际 上 需要 先 计 算 cx(?)， 另 一 方法 可 直接 估计 cx。 考虑 随机 变量 瑟 的 两 个 独立 同 分 布 观 
测 卫 :ZY, 令 ZAmax(X,X,) ,hEA(XI +Xs)/2, 容易 得 到 2 的 概率 密度 函数 为 Fz(z) = 
2Fy(z)fx(z), 其 中 Fx(z) 和 Jfx(z) 分 别 是 了 的 累积 分 布 函数 和 概率 密度 函数 。 考 虑 估计 
量 ox 











Gx ES Vr(2 — fx) (6.4-11) 


并 计算 BLGx] AVTB[(2Z -jx)] =Vm(B[2Z] -Kx)。 当 兰 为 正 态 时 , BL2Z] 的 计算 可 由 标准 
计 分 表 [ 参 见 Handbook of Mathematical Functions, M. Abramowitz, I. A. Stegun, Dover, 
New York, 1970, p. 303, 式 (7.4.14) ] 得 到 , 也 可 通过 Maple, MathCAD ，Mathematica 等 


软件 计算 得 到 。 有 E[2] =jx + or， 因此 E[Gx] =ox, 即 GxAVT(Z -fix) 为 ox 的 无 偏 
TT 
估计 量 。 
例 6.4-4 (ox 的 一 次 性 估计 )X:N(Uxr，ax) 的 两 个 实现 为 3.8, 4.1, 则 (上 撤 号 表示 )2' = 
max(3.8, 4.1) =4.1, fi =(3.8+4.1)/2 =3.95, ox =0.26, 由 式 (6.3-6) 可 得 0.21。 
为 计算 标准 差 估 计 函 数 (SDEF) 的 方差 , 根据 式 (6.4-11), 我 们 有 
Var(Gx) = "7(E[2*] + ElhX] — 2E[Zhx]) — ox 
计算 上 式 需要 花 点 工夫 , 结果 是 
Var(Gx) = (5 — 1) og2. oo 0.5702. (6.4-12) 
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实际 中 我 们 不 会 仅仅 依据 对 的 两 个 观测 来 估计 ox, 假定 有 碟 的 双 ( 偶 数 ) 个 观测 闷 ， 闷 ，…， 
X, ,并 将 它们 配对 成 {| 了 ,|) ,…，|X,_1, 了 ,| , 令 
G0) 全 Vs (max(X1, Xo) — 0.5(X1 + X2)) 


6 SV (max(Xa, Xa) — 0.5(X3 + Xa)) 


6/ A Vr (max(Xn_1, Xn) — 0.5(Xn_1 + Xn)) 


并 定义 
1 n/2 
A 全 ~(i) 
Cave 2 (6.4-13) 
4 只 
则 Var( G0,,.) A 人 Var( Gx) 3 有 
1 ii=l 
1.04 
Var(Gave) ~ ——oX (6.4-14) 


这 明确 说 明了 Gs 是 ox 的 一 致 估计 量 , 我 们 将 这 留 给 读者 作为 练习 。 采 用 Cx 人 VT(2Z -所 ) 来 
估计 ox 的 ox 置信 区 间 将 在 参考 文献 [6-3 ] 和 参考 文献 [6-4] 讨 论 。 


协 方差 估计 
协 方差 ,定义 为 
cil 全 Cov[IXY] = E[(X -ux)(Y — wy) (6.4-15) 
其 经 典 估计 是 协 方差 估计 函数 ( CEF) 
6 人 -xD)x (Yi fy(n) (6.4-16) 


其 中 |X;, 了 ,i=1,…, | 为 nr 对 独立 同 分 布 观测 ,我们 将 留 给 读者 来 证 明 6 是 ci 的 无 偏 一 
致 估计 量 。 归 一 化 协 方差 , 也 称 为 相关 系数 , 定义 为 


py 人 Su 
Sd 
0% 0Y 





(6.4-17) 


可 用 下 式 估 计 


A G1 Di (Xi — hx(n)) x (Vi — hy(n)) a 
> 中 = 1/2 可 :用 
0 (Di (Xi hx (mn) De (Yi fy(m))’) : , 


ji 分 布 的 闭合 形式 难以 得 到 , 但 pm 的 置信 区 间 可 用 更 加 先进 的 方法 得 到 。 





6.5 均值 和 方差 的 同时 估计 


若 同时 寻求 wx 和 ex 的 95% 置信 区 间 , 我 们 将 利用 随机 变量 Vx(n) 和 Gx(n) 的 独立 性 ， 
这 样 , 我 们 有 


P a subs sy (Xf se = 0.95 (6.5-1) 





或 等 效 





7 1 和 2 
P [= < < xP [ 和 2_ (Xi —hx(n)) < : = 0.95 (6.5-2) 


式 (6.5-2) 是 从 式 (6.5-1) 推 导 而 来 , 利用 了 下 述 事件 的 独立 性 
A -hb (n) MH - , A n ee 3 _ 
已 -< 2 "| 和 mo< 计 > hx(n)) <d| 
我 们 注意 到 





A hx(n) — Hx 
A ox/Vn 
是 标准 正 态 随机 变量 N(0, 1), 服从 分 布 函 数 Fsk(z) ， 同 时 
Wi 


CX 全 


服从 和 -1 分 布 , 其 分 布 函 数 为 P(x; n -1)。 


下 一 步 是 将 事件 ,Es 的 概率 联系 起 来 。 举 个 例子 , 我 们 将 6 置信 度 分 解 为 6 =V5 xV5， 
假定 8=0.95, 有 





x(n)— Hx 这 2 
P|-a< 5 <"|- V0.95 ~ 0.975 (6.5-3) 
和 
bs — hx(n) 4 "< - = V0.95 ~ 0.975 (6.5-4) 
OX sa 





从 式 (6.5-3) 我 们 得 到 a =zosers， 即 Few (30 9875 ) =0.9875, 标准 正 态 随机 变量 的 98. 75 百 
分 点 。 从 式 (6.5-4) ,采用 给 卡 方 概率 密度 函数 “等 错误 ”分 派 原 则 可 确定 = wo.02s 和 < = 
wo oe7s ， 即 累积 卡 方 分 布 (x; n 一 1)1.25 百分点 和 98.75 百分点 。 更 一 般 地 , 对 于 任意 给 定 
的 6 置信 区 间 和 给 定 的 n, 可 以 找到 满足 置信 约束 的 a, b 和 c, 进而 可 以 从 /er 的 参数 空间 
找到 jwx, o2 的 6 置信 区 间 的 边界 。 事件 五 是 o =n(j -fx)*/a? 描述 抛物 线 围 成 的 凸 区 域 ， 
事件 Es 是 下 述 两 端点 间 的 区 域 

ogiox = 二 关 CC 一 Aix(n))2 (上 边界 ) 
| 二 (6.5-5) 
ayin 二 志 2 (Xi 一 人 x(n)) (上 边界 ) 
事件 EB, 中 E, 即 图 6.5-1 的 阴影 区 域 。 
在 1000 次 事例 中 约 有 950 次 , 图 6.5-1 阴影 区 域 会 包含 未 知 的 均值 和 方差 的 值 jx ,ox。 


例 6.5-1 (均值 和 方差 的 置信 区 间 ) 正 态 随机 变量 及 :N(jx, ox) 有 21 个 观测 | XX;， 
=1,…, 21|, 试 计算 x, o% 的 90% 置信 区 间 。 

为 实现 90% 的 置信 区 间 , 在 区 间 ( -a, a) 给 > 1) 随 机 变量 ZZ 分 派 (大 约 )0.95 的 概 
率 , 在 区 间 (b, Cc) 给 自由 度 20 的 卡 方 随机 变量 WW 分 派 0.95 的 概率 。 从 式 (6. 5-3) 可 得 
P[ -zs <Z<20 0%s] =0.95， tpn de Fav (2o0 60) =0.975 和 20 075 =1.96。 
从 式 (6.5-4) 可 得 PLD < 本 三 c] =0.95, 采用 例 6.3-3 中 “等 错误 ”分 派 方 法 可 以 确定 b = 0. 0s， 
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C =wo.9r5， 根据 FF (Xo 025; 20) =0.025 和 Fe(2Zos5;i 20) =0.975， 可 得 Zooo5 =9.59 和 2osr5 = 
34.2， 数值 Vo ows 和 Xo ors 即 X 随机 变量 的 2.5 百分点 和 97.5 百分点 。 


o? 
O02=MU -fa? 











应 
图 6.5-1 人 和 的 联合 估计 的 置信 区 间 


6.6 大 数据 量 时 非 高 斯 参量 估计 


考虑 均值 内 、 有 限 方差 oo” 的 随机 变量 了 , 其 有 个 独立 同 分 布 的 观测 XIX;, i=1,…, n|， 
根据 中 心 极限 定理 可 得 样本 均值 估计 (SME ) 呈 


对 于 大 的 n 近似 为 正 态 N(1, o /nn)。 若 了 为 连续 随机 变量 , 则 SME 的 密度 近似 正 态 , 否则 
其 分 布 近 似 正 态 。 当 要 估计 的 参数 与 非 高 斯 分 布 相关 时 , 仍然 可 能 采用 式 (6. 6-1) 来 估计 置信 
区 间 





hh 
P|-a< 和 和 <o| -。 (6.6-1) 
也 可 写成 
P|(-ao/Vi) +h<n< (ao/Vi)+ 邮 = (6.6-2) 


读者 需 意 识 到 这 是 的 100 x6% 置信 区 间 的 表达 式 。 当 分 布 为 非 高 斯 时 , 均值 和 方差 可 
能 是 相关 的 , 即 o =e(w) 。 如 何 处 理 这 种 情况 ?我们 用 参考 文献 [6-2 ] 中 两 个 例子 来 阐述 。 
例 6.6-1 (指数 分 布 中 入 的 置信 区 间 ) 假 定 我 们 要 估计 指数 概率 fx(xX) =Ae “wu(%) 中 的 
A, 我 们 有 _ 
1 会 E[X| = | ZAe-Azdz 一 入 -1 
0 


EEX-WY)=)| CA) var = A 
0 


”回想 可 交换 的 应 用 均值 估计 函数 和 样本 均值 估计 。 


第 6 章 参量 估计 267 


将 结果 代入 式 (6.6-2) ,整理 成 人 形式 
P| Ct (a/vVnD)+1| 
fh 


及 


<A< 


6 (6.6-3) 


ZA( 有 凡凡 )VNn/g 近似 为 N(0, 1) 随 机 变量 可 获得 数值 w， 即 满足 Fsx(zu,a2) =(1+6)/2 可 
得 Qa =z(1,s),2， 因 此 入 的 百 分 之 100 x6% 的 置信 区 间 宽 度 为 
Ws = 2z(146)/2/fVn (6.6-4) 
例 6.6-2 (A 置信 区 间 的 数值 估计 ) 我 们 要 从 指数 随机 变量 六 的 64 个 独立 同 分 布 观测 
中 获取 参数 入 的 95% 的 置信 区 间 。 有 Wj =3.5, 从 式 (6. 6-1) 可 得 2 xerf(a) =0.95, 或 等 
效 Few (zi145)/2) =(1 +6)/2 =0.975, 可 得 2097s =1.96。 从 式 (6.6-3) 和 式 (6.6-4) 可 计算 出 和 A 
的 95% 的 置信 区 间 为 10. 22, 0.36| ,宽度 近似 为 0. 14。 
例 6.6-3 ( 伯 努 利 分 布 p 的 置信 区 间 ) 给 定 伯 努 利 随 机 变量 及, 概率 P[ 了 =1] =p 和 
P[XX=0] =9=1-2D， 我 们 要 从 天 的 n( 足 够 大 ) 个 独立 同 分 布 观测 中 以 100 x6% 的 置信 度 估 
计 p。 从 分 布 可 得 jxA4E[X] =p, MEF 为 方 = (1/n) "Xi。 从 前面 章节 中 有 B[] =p 及 


Var[ »] = 三 >AVar[X,] = 二 pg =pq/n， 因 此 随机 变量 





ZED-? 
VPan (6.6-5) 
在 大 rn 时 分 布 为 N(0, 1) 的 正 态 ( 由 于 互 为 离散 随机 变量 ， 因 此 不 是 正 态 密度 ) 。 为 获得 2 的 
100 x6 置信 区 间 ， 有 
一 7 


Pp i 
A 6 (6.6-6) 


Pl-a =< 





或 等 效 
Pl(p—D)* < apd/m] =56 
我 们 从 2 xerf(a) =6 获得 常数 a, 即 Da =zi， 通过 求解 (p -PD)* -a pg/n =0( 其 中 q=1-2D) 
的 根 得 到 置信 区 间 的 端点 ， 即 有 
”227+ (a2/n) 1 Oy < 
p1 = 21 (aa) AIF) Ve /le /mn) + 8g 
27 + (a?/n) 1 
6 2(1+(a2/n)) 2(1+ (a2/n)) 
伯 努 利 概 率 p 的 95% 区 间 ，, 间隔 宽度 为 
Wy, = |p2 —p1| = gpm Ve/n) a2/n) 十 459 (6.6-7) 
图 6.6-1 显示 间隔 宽度 随 样本 数 缓慢 下 降 。 
例 6.6-4 ( 抛 硬币 的 公正 性 ) 我 们 希望 获取 抛 硬币 的 公正 性 的 一 些 信息 。 为 此 ， 抛 硬币 
100 次 , 47 次 观测 到 “正面 ", 求 得 到 “正面 "的 概率 p 的 95% 置信 区 间 。 应 用 MEF 可 得 ”= 
0.47, 从 2 xerf(a) =0.95 可 得 a =1.96, 进而 从 式 (6. 6-7) 可 得 W; 二 0. 192。 置 信 区 间 为 














Va2/n)l(a2/n) 十 459] 











@ 回想 2xerf(a) =2xFsy(a) -1=6, 因此 a=x0 ,a)/2， 即 标准 正 态 随 机 变量 的 (1 +6)/2 百分数 。 
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0.37 ~0.57 并 以 0.47 为 中 心 。 区 间 包 含 了 抛 硬币 “公正 ” 值 p =0.5, 我 们 不 能 怀疑 硬币 是 有 
偏 的 。 如 果 独 立 同 分 布 的 观测 增加 到 1200 次 , 其 中 564 为 “正面 "， 则 方 ' 依 然 为 态 ' =0.47, 但 
其 95% 区 间 为 |0.442, 0.492| , 不 包含 “公正 ” 值 0.5, 这 将 说 明 硬 币 有 轻微 有 朝 更 多 出 现 “ 背 
面 "的 方向 偏离 。 


伯 努 利 概率 p 的 95% 区 间 

0.6 
0.5 
其 0.4 
训 0.3 
区 0.2 
0.1 

0 

0 200 400 600 800 
样本 数 


图 6.6-1 例 6.6-3 置信 区 间 宽 度 随 样本 数 的 增加 而 缓慢 下 降 , 假定 466~1 
6.7 最 大 似 然 估计 


前 面 我 们 介绍 了 随机 变量 的 均值 、 方 差 、 协 方差 估计 器 , 尽管 这 些 估计 器 具有 良好 的 性 
质 , 它们 看 上 去 没有 遵循 一 般 准 则 。 在 本 节 , 我 们 讨论 通过 一 般 准 则 来 寻找 估计 器 , 这 个 方法 
称 为 最 大 似 然 (ML) 准 则 , 推导 出 的 估计 器 称 为 最 大 似 然 估 计 器 (MLE) 。 最 大 似 然 方法 的 缺陷 
是 观测 数据 的 概率 密度 函数 的 基本 形式 必须 已 知 , 最 大 似 然 估 计 方 法 的 概念 在 下 例 中 阐述 。 

例 6.7-1 考虑 伯 努 利 随 机 变量 ， 其 概率 质量 函数 PMF 为 Px(k) =p"(1-p) “, 其 中 
P[X=1] =p 且 P[ 和 =0] =1-2p。 我 们 将 通过 估计 器 万 来 估计 也 的 值 , 它 是 不 观测 值 的 函数 。 
假定 有 站 的 了 个 观测 闷 ， 和 万 ，…, 轧 ， 则 了 = ”Xi 即 为 n 次 实验 中 观测 到 1 的 次 数 ,例如 在 
一 个 已 知 出 现 * 正 面 " 的 概率 为 妨 的 投掷 硬币 实验 , n 次 的 实验 中 出 现 *“ 正 面 " 的 次 数 ， 即 | 和 =1|。 
假定 数值 为 k， 则 出 现 k, 的 先 验 概率 为 PLY=ki; p] -人 ja _p)"*， 由 于 p 假定 未 知 ， 
可 以 看 到 结果 是 与 p 有关 的 。 现 在 我 们 问 : p 值 取 多 少 最 有 可 能 出 现 这 种 结果 ? 由 于 公式 右 
边 是 Dp 的 连续 函数 ， 可 以 对 其 微分 并 令 等 于 零 


和 过 = (pp pn) =0 

有 三 个 根 : p=0，p =1 及 p= 有 a/n， 前 两 个 根 对 应 最 小 值 , 也 = 有 /iu 对 应 最 大 值 ， 因 此 ， 在 此 
例 中 p 的 最 大 可 能 取 值 为 ki/n。 若 将 实验 重复 一 次 ， 有 ks 次 观测 到 “正面 ", 则 Pp 的 估计 为 
ja[m。 通 过 最 大 似 然 估计 得 到 了 的 估计 为 


二 (6.7-1) 





办 = 
人 也 


上 例 中 我 们 应 用 了 习 ，,X; 为 二 项 式 分 布 的 结论 , 若 没有 此 知识 , 还 有 同样 的 结果 吗 ? 毕竟 


2 


对 随机 变量 之 和 的 分 布 的 计算 是 要 花 点 功夫 的 。 回 答 是 可 以 , 其 结果 是 基于 生成 的 似 然 函数 。 
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定义 6.7-1 随机 变量 防 ,XX ,，…, XX, 的 似 然 函数 D 是 未 知 参数 0 的 联合 概率 密度 函数 
fx x (1， V2, Tn; 0)。 ee Zs， I .人 是 概率 密度 函数 为 Fy(X; 0) 的 随机 变量 
了 的 独立 观测 时 ， 则 站! =X1，Xa =Xo ，…， 有 =20i， 有 =X 时 ， 似 然 函 数 为 


= |]]fx(zi;0) (6.7-2) 
因为 |X,| 是 概率 密度 函数 为 fx(X;0) 独立 同 分 布 的 随机 变量 。 如 果 对 于 给 定 的 结果 团 =(v， 
Xs，…， 2) ， 0 (Ni, Vs，*…，,X,) 是 使 L(0) 最 大 的 9 值 , 则 0" (Xi, Ys，…, Xv,) 就 是 9( 一 个 
数 ) 的 最 大 似 然 估计 , 6=0" (也 ， 及，…, ,) 是 9 的 最 大 似 然 估计 (一 个 随机 变量 )。 因 此 ， 
似 然 函 数 定义 为 随机 变量 也 (9) ATI’_fx(X,; 0) 是 十 分 合理 的 , 并且 , 使 其 最 大 化 就 得 到 0 的 
最 大 似 然 估计 (了 ，…，, 了 ,) 。 

例 6.7-2 考虑 例 6.7-1 中 应 用 似 然 函数 求解 p 的 最 大 似 然 估计 。 假 定 伯 努 利 随机 变量 收 
的 多 个 独立 同 分 布 观测 为 局， 向 ，…， 筷 ， 似 然 函 数 即 为 了 (0) = [Tp"* (1 -p)' ”= 
力 ZP-imi x (1-p)” Zt?i, 令 dL(9)/d9 = 0, 我 们 得 到 三 个 根 :p =0,p =1 及 p = Ds 
前 两 个 根 对 应 最 小 值 ， 最 后 一 个 根 对 应 最 大 值 。 因 此 , 有 p(x) = 吏 ” ,Xi/n 及 p 的 最 大 似 
然 估计 户 = (五 ， 卫 ，…, 大) = 也 ,An 

很 多 情况 下 对 似 然 函 数 的 对 数 形式 求 微分 更 方便 , 对 数 似 然 函 数 lg L(0) (通常 为 自然 对 
数 ) 与 Z(9) 的 最 大 处 对 应 同样 的 9 值 。 另 外 , 微分 并 不 能 保证 得 到 最 大 似 然 估计 , 这 时 需要 寻 


求 其 他 方法 。 最 后 , 多 参量 最 大 似 然 估计 可 以 通过 求解 联 立 方程 得 到 , 我 们 将 通过 下 面 三 个 例 
子 分 别 阐述 上 述 三 点 。 


例 6.7-3 假定 及 :N(, 只 )， 其 中 or 已 知 ， 计算 均值 凡 的 最 大 似 然 估 计 。 
解 马 的 7 个 实现 的 似 然 函 数 为 





1 N” 1 所 
L(1) = (Ra) exp (- 志 2 一 彤 ) (6.7-3) 
由 于 对 数 形式 是 单调 的 , 荆 ( 风 ) 与 Ce 因此 
log L(14) = 一 云 7 log( 2mo2) 一 区 5 ie 人 人世 
令 
ologZ() _ 1 
On 
可 得 
D(z 4) 0 


因此 ,内 的 值 , 即 最 大 化 工 (由 ) 的 人 为 





@ 严格 来 说 , 我 们 应 当 写成 二 (9; zi ,x,，…, Xn), 或 如 有 些 书 上 写成 上 (9; 了 ，X，,，…, Xn)，, 然而 , 我 们 据 弃 这 类 过 渡 
标记 法 。 
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人 
表明 凡 4 的 最 大 似 然 估计 应 为 


(6.7-4) 
可 见 ， 在 正 态 情况 下 ,人 的 最 大 似 然 估计 可 以 通过 对 数 似 然 函 数 的 微分 求解 ,其 结果 是 样本 均值 。 
例 6.7-4 假定 卫 为 (0, 6) 间 的 均匀 分 布 ， 即 


10<z<0 
fx(z) = | 水 守 8 
试 计算 9 的 最 大 似 然 估计 。 令 nn 个 观测 也 ，…, 了 X, 的 一 个 特定 实现 为 X=[x1,…, Y,] ,并 
令 Yn Amax( vi, sk, 2 似 然 函数 为 
1 
BTCm 二 0 
人 二 人 其 他 

显然 ,最 大 化 区 必须 使 8 的 估计 尽 可 能 小 , 但 9' 不 能 小 于 YX,,， 因 此, 9' 就 等 于 Xx,,, 最 大 似 然 估 
计 为 








0 = max(Xi1,..., Xn) (6.7-5) 
当 n =2 时 0 的 累积 密度 函数 为 
B(a) = Fx (a)Fx,(a) = F(a) (6.7-6) 
任意 即时 0 的 累积 密度 函数 和 概率 密度 函数 计算 留 给 读者 练习 。 
例 6.7-5 考虑 正 态 概率 密度 函数 
f(s) = Re (eH ), -ws<o 
Nn 个 实现 的 对 数 似 然 函数 为 
L(1,0) SlogL = - log2r — nlogo 
要 (6.7-7) 
二 2 一 中 
令 
ar_0 Lo 
On ac 
得 到 联 立 方程 
Sh 一 内 =0 (6.7-8) 
1 
% 1 区 2 
i 1) =0 
根据 式 (6.7-8) 可 得 


(6.7-9) 
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户 = 二 》 xX; (6.7-10) 


根据 式 (6.7-9) ,并 应 用 式 (6.7-10) 的 结果 可 得 
92 = (XA (6.7-11) 
i=1 
最 大 似 然 估计 有 很 多 优良 的 性 质 包括 均 方 误差 一 致 性 和 不 变性 。 不 变性 指 的 是 如 果 6 是 g 
的 最 大 似 然 估计 , 则 (8) 是 (9) 的 最 大 似 然 估计 。 然 而 , 如 例 6.7-5 所 示 [ 参见 式 (6.7-11) ] 最 
大 似 然 估计 不 一 定 是 无 偏 的 。 我 们 用 一 个 不 变性 的 例题 结束 本 节 。 
例 6.7-6 考虑 正 态 随 机 变量 的 个 观测 ， 假定 已 知 其 均值 为 零 。 方 差 的 最 大 似 然 估计 为 


人 Y= 二 区 ?1 下 ,标准 差 o 是 方差 的 均 方 根 。 则 标准 差 的 最 大 似 然 估计 为 方差 最 大 似 然 估计 的 


均 方 根 , 即 = (二 卫 ” XW) 。 


6.8 排序 ,百分点 , 参数 与 非 参 数 统计 


取 累 积分 布 函 数 为 Fx(x) 的 一 类 随机 变量 和 (和 有 时 称 为 集合 ) 的 7 个 独立 同 分 布 观 测 
Xi ,Xs。，…,X, ,样本 的 联合 概率 密度 函数 为 fx (Xi) x… xfyx(X,)， 一 % <Wi <o ,i=1,…, Nn， 
将 及 ;, $=1,…, n 按 大 小 (符号 数值 ) 排 序 后 得 到 排序 的 样本 卫 ,， 了,…, 巴 , 即 -o < 了 < 
也 <… < 了 ,< %，, 例如 序列 3，-2，-9, 4 排序 后 为 -9，-2, 3, 4。 铬 序列 也 ，…, ao 是 由 
及 :N(0,1) 的 nn 个 观测 生成 , 则 卫 >0 的 可 能 性 不 大 ,因为 这 需要 其 他 19 个 Y;, i=2,…, 20 
都 大 于 零 , 即 所 有 样本 都 在 正 态 曲线 的 右 侧 , 这 种 可 能 性 为 (1/2)”。 同 样 , Ys。<0 也 是 不 太 
可 能 的 , 因为 这 需要 其 他 19 个 了 ;, i=1,…, 19 都 小 于 零 。 如 5.3 节 所 示 , 排序 样本 了 ,了 ,， 
…, 了 , 的 联合 概率 密度 函数 为 nl fx(Y1) xx 产 (加 )，-o < < <…<2z <o 或 零 。 
我 们 区 分 排序 和 排名 是 排名 通常 给 排序 单元 指派 一 个 值 , 例如 , 大 多 数 人 会 将 骨折 的 疼痛 排序 
在 感冒 引起 的 喉 哎 疼痛 前 面 , 但 若 一 个 内 科 医 生 要 病人 将 疼痛 按 0 ~10 排名 , 骨折 的 疼痛 可 能 
排名 第 8 位 或 第 9 位 , 而 哗 疼痛 可 能 排名 第 3 位 或 第 4 位。 

下 面 考虑 百分点 的 概念 , 在 前 面 很 多 地 方 讨论 中 已 应 用 过 此 概念 , 我 们 将 在 此 详细 阐述 。 
假定 一 大 群 人 的 1Q( 智 商 ) 分 布 为 N(100, 100), 即 均值 为 100, 标准 差 为 10。 显 然 , 正 态 近似 
是 在 一 定 范围 内 有 意义 的 , 因为 没有 人 的 JIQ 会 是 1000 或 是 -10。IQ 测试 本 身 也 是 在 一 定 范 
围 内 有 意义 的 , 对 于 特别 聪明 或 严重 智力 低下 的 也 难以 给 出 精确 的 数值 , 有 时 将 这 两 类 人 叫做 
“脱离 IJQ 范围 "。 现 阶段 IQ 测试 依然 作为 解决 问题 能 力 的 指标 广泛 应 用 , 假定 1Q 测试 结果 表 
明 小 孩 在 应 试 者 中 排名 是 93 百分点 , 有 资格 进入 所 选择 的 学 校 , 我 们 怎么 在 % 个 学 生 中 定 为 
93 的 百分点 呢 ? 

定义 (百分点 ) ”给 定 累 积 密度 函数 Fy (x) 的 随机 变量 飞 , 的 %% 百分点 是 满足 
本 (xX,) = 的 x, 值 。 若 函数 Fx 是 处 处 连续 且 可 微 的 , 则 x =Fx' (4%) ,其 中 x! 是 Fy 的 逆 
函数 , 满足 Fi (Fx(x,)) =zZvo。 图 6.8-1 画 出 了 一 个 累积 概率 密度 及 其 逆 函 数 。 按 惯例 , 我 
们 不 加 区 别 地 用 xz, 或 100 xzv 来 表示 x 百分点 。 
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u=F() 
0 





(a) 
图 6.8-1 (a)w 对 比 x,;(b) 首 函数 zx, 对 比 久 
观测 ”在 累积 分 布 函数 为 Fsy(z) 的 也 :N(0,1) 的 特定 情况 , 我 们 用 符号 z, (或 100 x%,) 
表示 兰 的 百分点 。 车 邓 :N(4, oo), 则 对 的 ww 百分点 与 的 关系 满足 
Ti = zo (6.8-1) 
例 6.8-1 (xw, 与 2 的 关系 ) 若 及 :N(W, 0 )，, 证明 X=h 凡 +%0。 证 明 如 下 : 
我 们 有 





最 后 一 行 是 Fsv(z,) ， 即 标准 正 态 随机 变量 的 累积 分 布 函数 。 因 此 wu = 凡 +zu。 我 们 将 此 结 
论 用 于 前 面 提 到 的 IQ 问题 。 根 据 数据 有 x(X,) =0.93 =Fss(zv)， 从 正 态 累 积分 布 函 数 表 或 
从 误差 函数 (erf(z,) =Fw(z,) -0.5) 表 中 可 得 2。， 即 21. 48, 根据 ww。 = 从 +2zuo =100 + 
1.48(10) , 得 到 的 IQ 93 百分点 为 115。 
集合 的 中 值 与 均值 

集合 卫 的 中 值 是 满足 Fs (mo.s) =0. 50 的 点 0.5， 而 ZX 的 均值 写成 wx， 定义 为 Wx = 
f(z) ax。 中 值 和 均值 并 不 需要 一 致 , 例如, 在 f(x) = Ae “wu(z) 的 指数 分 布 中 , 可 得 


Lx =1/A 及 xzos =0.69/A。 计 算 邓 的 均值 需要 f(x), 但 这 经 常 是 不 知道 的 。 中 值 仅仅 是 一 个 
点 wos 满 足 PL[X<xwos], 而 均值 看 起 来 是 一 个 相对 抽象 的 参数 。 给 定 耶 的 n 个 独立 同 分 布 


观测 X，，,，…, 已,， 用 均值 估计 函数 (MEF) jx = n”"_,X; 来 估计 yx, 在 大 数据 量 时 





Q@” 当 事件 | 也 =zo.s| 概率 为 零 , 事件 | 了 <zo.s| 及 | 且 > zo.s 1 概率 都 为 0.5, 这 就 是 经 常 所 听 到 的 描述 : 中 值 是 “集合 中 一 半 
在 上 , 一 半 在 下 的 点 "。 中 值 作为 50 百分点 , 它 包含 事件 {| 邓 =zo.s1 ,因此 , 描述 应 该 修改 为 :“ 中 值 是 集合 中 一 半 在 其 
点 或 在 下 ”。 中 值 是 整个 集合 的 一 个 特征 参数 , 随机 样本 的 中 值 仅仅 是 真实 中 值 的 估计 。 
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是 无 偏 且 一 致 估计 量 。 实 际 上 由 于 MEF jx 的 形式 简单 , 并且 在 ox 有 限 且 大 nn 时 (参见 大 
数 定理 ) ， 有 Ax 一 wx， 才 使 得 均值 应 用 广泛 。MEF 的 实现 直观 上 是 有 趣 的 , 它 给 出 了 数据 
的 着 重 描述 。 


例 6.8-2 (薪水 的 中 值 和 均值 ) 考 虑 一 个 国家 中 一 半 的 工人 一 年 的 收入 少 于 $10 000, 而 
另 一 半 多 于 $10 000, 我 们 将 $10 000 作为 年 收入 的 中 值 。 假 定 在 年 收入 少 于 名 10 000 的 人 
中 , 年 收入 的 均值 是 $8000, 在 年 收入 多 于 $10 000 的 人 中 , 年 收入 的 均值 是 $100 000, 则 整 
个 国家 的 收入 均值 为 $54 000。 依 你 的 判断 , 哪个 数据 能 更 好 体现 国家 的 经 济 ? 国家 运行 合理 
(不 合理 ) 你 会 使 用 哪 一 个 指标 ? 


例 6.8-3 (二 项 式 的 中 值 和 均值 的 不 同 ) 我 们 对 二 项 式 情况 做 了 一 些 细致 的 观察 , 发 现 
均值 和 中 值 不 一 致 。 例 如 ， 当 N=5, 均值 是 2.5, 但 中 值 是 2。 然 而 ,当即 很 大 时 ， 中 值 和 均 
值 接近 ,， 且 中 值 可 用 均值 来 估计 。 不 加 证 明 的 结论 是 : 均值 和 中 值 的 差别 与 (p(1 -2D)) "成 比 
例 ， 当 7 一 oo 为 任意 小 。 


参数 与 非 参数 统计 


已 知 或 假定 密度 、 分 布 或 概率 分 布 函 数 , 然后 根据 这 些 信息 计算 概率 、 估 计 参 数 、 做 出 判 
决 称 为 参数 统计 。 典 型 的 参数 统计 中 , 我 们 会 假定 集合 密度 的 形式 ， 比 如 正 态 分 布 , 然后 去 估 
计 一 些 分 布 相 关 的 未 知 参数 ,比如 均值 ux。 在 第 7 章 中 , 将 参数 统计 应 用 于 假设 检验 。 参 数 
统计 很 大 程度 上 是 基于 中 心 极 限定 理 , 表明 大 量 的 独立 同 分 布 观测 的 分 布 趋 近 于 正 态 累积 密 
度 函 数 。 
集合 的 特性 和 参数 的 估计 不 依赖 于 集合 分 布 的 知识 或 形式 的 假定 称 为 分 布 无 关 或 非 参 数 
统计 。 仅 仅 基于 观测 而 没有 分 布 假 定 的 统计 有 时 称 为 鲁 棒 的 , 这 是 因为 根据 观测 得 到 的 定理 
或 结论 不 会 因为 分 布 形式 的 不 同 而 改变 。 均 值 和 标准 差 在 描述 集合 的 中 心 和 散布 时 是 十 分 有 
用 的 参量 , 而 在 非 参 量 情形 中 ,中 值 和 范围 扮演 相似 的 角色 。 为 从 邓 ,，X，…,X, 中 估计 中 
值 , 我 们 将 它们 按 大 小 排列 为 对 < 了 < … 丈 ,用 样本 中 值 估 计 器 估计 xo.s 为 
Yi 若 7 为 奇数 , 则 n=2k+1 
I 5( 了 + 了 ,1) 车 nn 为 偶数 , 则 n=2k 
样本 中 值 不 是 zus 的 无 偏 估 计 , 但 在 很 大 时 近似 无 偏 。 非 参量 情形 的 散布 用 50% 范围 描述 ， 
即 Axo so 人 wo.7s 一 Yo.zs，, 或 用 90% 范围 描述 , 即 Axo oo 人 xzoss -2o os， 或 用 其 他 合适 的 范围 描述 ， 
这 都 将 根据 观测 值 进行 估计 。 
例 6.8-4 (百分点 的 内 插 ) 符 号 CQ ~ 表示 a 估计 B， 有 Y, ~ Xo0.273， Y, ~ V0.364， 应 用 内 插 


公式 


(6.8-2) 





Ya 十 = 2 /1Y ~ To0.3 
图 6.8-2 显示 了 样本 间 的 内 插 。 
百分点 的 置信 区 间 


下 面 我 们 讨论 一 个 与 百分点 排序 统计 相关 的 基本 结论 。 模 型 依然 是 累积 概率 密度 为 
(x) 的 随机 变量 对 的 nn 个 独立 同 分 布 观测 郑 ，X。，…,X,， 并 应 用 标记 PLX;<z,] Au, 下 
面 将 样本 按 符号 数值 大 小 排序 为 页 < 了 <… < 了 ,。 在 此 提醒 读者 : 车 一 个 实现 的 集合 X;, i = 
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…5 为 加 =7, Yo = -2, w=7.2, Xs =1, ws =3, 则 排列 后 的 实现 也， 
2, Ys = 一 1, ys =3, ys =7, Ys =7.2。 从 1Y,| 和 |X;| 的 下 标 看 ， ee ， 即 事 
件 { 到 <z| 表明 在 |X;| 中 至 少 有 个 值 小 于 x, 可 能 有 更 多 , 但 不 会 少 。 因 为 1X ,| 是 独立 同 
分 布 的 , 可 以 用 二 项 式 概率 公式 计算 P[ 了 <x, ] 为 
PI < zu = P[{X;} 中 至 少 有 不 个 值 小 于 zu] 


= (wl po 


下 面 考 虑 事件 | 了 7,,, >z。| ,由 于 了.,, 是 |X| 排序 中 第 (k+7) 个 单元 , 则 | 中 至 少 有 nn 一 (k 
+7) +1 个 值 大 于 zx， 等 效 地 ，|X,| 中 有 不 超过 k+7 -1 个 值 小 于 zz,。 即 
P[Ye+r > zw] = P[ {Xi} 中 有 不 超过 十 7 一 1 个 值 小 于 


= ! (? ua — vu) 
事件 {了 ,>z| 和 | 了 <zx。| 的 并 集 为 事件 | <x, < 了 ,| ,其 概率 
PIY% 闪 守 之 Pia) 三 °F (ua 要 wi (6.8.5) 


(6.8-4) 


与 .请 (Z) 是 相互 独立 的 。 式 (6.8-5) 给 出 的 结论 是 非 参 量 统计 中 的 重要 结论 并 将 在 下 面 得 到 应 用 。 
ing 


区 
ee 
a 


1 区 | 


站 为 办 ”为 加 力 Jo Jo 


排序 样本 


图 6.8-2 从 10 个 排序 的 样本 估计 百分点 范围 显示 为 样本 间 线 性 内 插 。 为 获取 估 
计 的 百分点 ,采用 指标 数值 并 乘 以 100/11 ,这 样 ,对 于 初始 近似 ,90 百 
分 点 从 yw 估计 ,而 9 百分点 从 角 估 计 ,ys -多 窗 盖 了 50 百 分 点 范围 


例 6.8-5 (中 值 的 95% 置信 和 度 需要 的 样本 数 ) 我 们 寻求 随机 区 间 [ 了 五， 了 |] 的 端点 
了 ,了 ,满足 事件 | 了 <wxo.s < 了 ,| 发 生 的 概率 是 0.95。 此 处 了 Amin(X, Xs, …, XX,),Y 了 ,A 
max( ,六 。,，…, XX,)， 则 实际 上 Nn 应 该 取 多 大 呢 ? 

答案 是 通过 计算 





n—l1 1 
PIYi < zo5 < ¥,] = 六 (ap ~ 0.95 
可 得 当 nn=5, PL 了 <xos < 了 ;] 二 0.94, 随机 区 间 [ 卫 ,了 ] 鹤 盖 50% 的 百分点 的 概率 随 N 的 变 


化 规律 如 图 6.8-3 所 示 。 
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随机 区 间 和 覆盖 中 值 的 概率 

















0 2 4 6 8 10 
样本 数 


图 6.8-3 事件 1 了 7 < zs < 了 ,| 覆盖 中 值 的 概率 与 % 值 关系 
例 6.8-6 (wo3s 位 于 哪 一 组 排序 样本 间 ?) 有 一 组 排序 的 样本 | 了 ,了 ，,…, 了 ,| ,希望 找到 
一 个 样本 对 | 了 ,, 7, ,1 ,=1, …, n 一 1| 覆盖 33.33 百分点 的 概率 最 大 ,33. 33 百分点 由 多 = 
1//3 =Fx(XYo3s) 给 出 。 假 定 n=10, 根据 式 (6.8-5) 可 得 


10! > a 
RO A (2/3)10-*, k=1,...,9 


结果 绘 在 图 6.8-4 中 。 显 然 间隔 [L,Y ] 改 盖 x0.33 的 可 能 性 最 大 , 事件 | 了 ， <wo ss < 了 | 的 概率 
为 0.26。 


P [Yi < xo0.33 < Yr+1] = 


33 百 分 点 被 第 k 个 相 邻 的 
_ 排序 对 稳 盖 的 概率 


603 十 = 























有 4 5 678 9 
第 k 个 排序 对 
图 6.8-4 在 所 有 成 对 区 间 [了 ,了 ,] 中 ,区 间 [ 五,Y,] 牙 六 mm 可 能 性 最 大 


当 n 很 大 时 中 值 的 置信 区 间 
若 n 足够 大 , 以 至 于 二 项 式 分 布 可 以 用 正 态 分 布 近似 , 我 们 有 
Pla< Sn < BP] 了 | exp -| dy (6.8-6a) 


其 中 g 
BPlagS,<B= 7 (2 )r0 2 


i=Q 


A G1 一 0.5 


n 6.8-6b 
VE Wo 
8 A PB—np+t+0.5 


Vnp(l—p) 
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应 用 此 结果 于 就 近 的 问题 有 
Pl < os < Yrdd] = (aa (6.8-7) 


? 


在 应 用 中 中 值 定义 为 w=Fx(xos) =1/2。 下 标的 选择 确保 置信 区 间 开 始 从 底部 的 第 7 个 位 置 
计算 , 也 就 是 说 , 由 首 个 位 置 开 始 , 结束 于 从 顶部 开始 往 回 计算 7 个 观测 位 置 。 举 例 来 说 , 如 
果 n=10 时 95% 置信 区 间 得 到 7=3, 置信 区 间 从 第 3 个 观测 开始 , 结束 于 第 8 个 观测 ， 两 个 
点 均 是 从 底部 或 项 部 开始 的 第 3 个 位 置 , 即 1, 2, 3(Y) 和 10, 9, 8(Y), 结果 可 表示 为 
Ply, < <E,] =0. 站。 

从 二 项 式 求 和 的 式 (6. 8-7) 注 意 到 , 其 均值 为 n/2, 标准 差 为 /nr/2, 而 二 项 式 求 和 式 (6. 8-7) 
的 95% 置信 区 间 正 态 近 似 为 


B 
n-—r /7 二 1 We Qi 
让 . ja i | exD| aT ]dz = 0.95 


由 标准 正 态 分 布 (或 误差 函数 ) 表 可 得 a,, = -1.96, B, =1.96。 根 据 式 (6.8-6b) 有 
nr—n/2+0.5 








1:96 汪 
Vn/2 
1.96 = = n/2—0.5 


可 得 7=(n/2) -1.96 Vn/2 +0.5。 如 果 7 不 是 整数 , 则 用 [7] 代 替 7, [7] 为 小 于 等 于 7 的 最 
大 整数 。 

例 6.8-7 (n=20 时 中 值 的 95% 置信 区 间 ) 随 机 交 量 也 的 20 个 观测 为 |X;, $=1， 
201， 根据 其 符号 数值 排序 为 也 < 世 <… < 了 ,由 7=(n/2) -1.96 Vn/2 +0.5 可 得 7 =6.12 
和 |7|=6, 则 有 P[Y, <zus <Ys] 宇 0.95。 - 


6.9 向 量 均值 和 协 方差 阵 的 估计 ” 


今 尼 A[X;,…,X,]" 为 p 单元 的 随机 向 量 , 概率 密度 函数 为 fx(X), 令 X;,，…, X 为 X 
的 nn 个 观测 ， 即 邓 ,, =1,…, n 是 由 fx(xw) 给 出 的 , 则 子 ;, i=1,…, 2 为 独立 同 分 布 的 随机 
向 量 , 概率 密度 函数 为 x(x;)。 下 面 我 们 给 出 如 何 估 计 : 
0) px S ER] = [po 
其 中 
me] 天下 
有 昌 A T 
(ii) Kxx = EI[(X— Hx)(X— Hx) | 
向 量 和 和 矩阵 wx 和 Kxx 在 信号 处 理应 用 中 是 非常 有 用 的 , 它们 也 是 多 维 正 态 分 布 的 首要 特征 。 
协 方差 阵 Kxx 通 常 是 满 秩 、 正定 、 实 对 称 的 矩阵 , 矩阵 的 这 些 性 质 是 众所周知 的 , 并 在 估计 中 将 
得 到 应 用 。 





@ ”这 一 节 和 下 一 节 对 首次 阅读 的 读者 可 跳 过 。 
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H 的 估计 
考虑 给 定 的 p 维 向 量 估 计 @ 
6 -yx (6.9-1) 
2 
可 知 @@ 是 的 无 偏 和 一 致 估计 。 我 们 将 观测 整理 在 表 6.9-1 观测 数据 
表 6.9-1 中 。 | i 
在 表 6.9-1 中 , X; 是 随机 向 量 耻 ; 的 第 j 个 单元 , 万 ， i Se 
了 =1, …,p 是 随机 向 量 对 的 第 j 个 单元 的 个 独立 同 分 。: ~ 
布 的 观测 。 从 标量 情形 已 知 7) i 
Bi 全 二 》 Xp, 站 宇和 (6.9-2) y， Xip Xnp 
4=1 n 列 








对 于 pj ABLXj]i=1,…, n 而 言 是 无 偏 且 一 致 的 , 进而 。 yy 是 估计 向 量 第 7 个 j 的 充分 必要 条 件 
有 @aA[6,…, 98s]" 是 的 无 偏 且 一 致 的 。 向 量 二 包 
括 估计 jw 的 所 有 信息 , 因此 EB[Y] =pwi, 其 中 iA[1, 1,…, 1,1]"。 

当 脏 为 正 态 时 , 日 也 是 正 态 的 。 即 使 于 不 是 正 态 的 , 有 中 心 极限 定理 , @ 在 即 很 大 时 也 
是 趋 近 正 态 的 (参见 定理 4.7-1) 。 
协 方差 K 的 估计 

如 果 均 值 六 已 知 , 则 估计 


8S 工 3 [ 记 - 辣 [本 = 网 ; (6.9-3) 


i=1 


是 五 的 无 偏 估计 。 而 均值 通常 由 样本 均值 丸 估 计 给 出 , 则 估计 


0s -pr (6.9-4) 


1 
n 


是 Kxx 的 无 偏 估计 。 为 证 明 此 结论 需要 下 一 点 工夫 。 首 先 观察 @ 的 对 角 线 上 单元 形式 
5 S -一 2_(Xs -bs) (6.9-5) 
4=1 
从 单 变量 情形 我 们 已 知 ojy 4B[ (总 -py)”] 是 无 偏 的。 其 次 考虑 序列 (lm) 
Xl + Xim, X21 + Xm,***， Xnl 十 Xnm (6. 9-6) 
为 nn 个 独立 同 分 布 观测 Z 名 ,其 中 单 变量 随机 变量 Bo AX, +X, 均值 为 +m， 方差 为 
Var[Zim] = E[(Xi — 1) + (Xm 一 Am) 


5 _ (6.9-7) 
=01++ om 2Kim 
其 中 K,, AEL(X, -M1) (FX -hm) ] 是 下 zx 的 第 Im 个 单元 。 最 后 ， 考虑 
$1 Dl — (b+ fen) (6.9-8) 


根据 式 (6.8-15) ， 上 式 是 ot +o% +2K 的 无 偏 估计 。 将 式 (6.9-8) 加 以 推广 并 应 用 Go 全 总 + 
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流 1 也 
@m= Da — pb) + (Xim — hm)]? 
i=1 


= DC ?+ = Dm -bn) (6.9-9) 


2 之 
半生 二 D(Xa — hu)(Xim — form) 
i=1 


在 式 (6.9-9) 中 , 第 一 项 是 ex 的 无 偏 估计 , 第 二 项 是 o%, 的 无 偏 估计 , 三 项 之 和 是 式 (6. 9-8) 的 
cl +Om +2Kw 的 无 偏 估计 ,因此 可 得 出 结论 





Bn A TO ~ fa) Xim — fs) (6.9-10) 
“一 1 
是 K,,( = ) 的 无 偏 估 计 。 既 然 式 (6.9-4) 中 @ 的 每 一 项 都 是 Kxx 对 应 项 的 无 偏 估计 ，, 因此 


@AKxx 是 Kxx 无 偏 估计 。 

通过 分 析 单 变量 情形 并 假定 四 阶 矩 存在 , 可 以 得 出 式 (6.9-4) 对 Kxx 佑 计 的 每 一 项 的 一 致 
性 , 因此 无 须 指定 分 布 , 式 (6.9-1) 和 式 (6.9-4) 分 别 是 wx 和 Kxx 的 无 偏 且 一 致 估计 量 。 

当 玉 为 正 态 , 有 xx 结构 上 为 复 概率 形式 , 称 为 Wishart 分 布 (参见 参考 文献 [6-6] 的 126 
页 ) 。 更 一 般 地 ， 当 社 的 概率 密度 函数 形式 已 知 , 就 可 以 采用 最 大 似 然 方法 估计 oz, px 和 
Kxx 等 参数 。 尽 管 不 都 是 , 最 大 似 然 方法 还 是 具有 一 些 优良 的 性 质 。 下 个 例子 将 说 明 均 值 的 最 
大 似 然 估 计 不 是 最 小 均 方 估 计 。 


例 6.9-1 (参见 参考 文献 [6-5] 的 21 页 ) 考 虑 式 (6.8-3) 的 样本 均值 估计 器 ， 即 
1c 
Rh 


可 知 估计 器 是 均值 的 最 大 似 然 估计 。 问 : 标量 估计 器 @Aai 中 常量 a 取 什 么 值 能 得 到 几 的 最 
小 均 方 估计 ? 其 中 尺 ,, =1, …, Nn 是 独立 同 分 布 的 随机 变量 且 有 EE[X,] =1 和 Var[X,] =o?。 

解 ”通过 下 式 求 解 最 小 a 值 

Elal — uJ]? (6.9-11) 

显然 所 是 几 的 无 偏 估计 , 很 难 相信 当 a 关 1 的 加, 即 得 到 一 个 有 偏 估计 ,会 有 比 加 = 几时 更 小 的 
均 方 误差。 

对 于 任意 估计 量 @, 估计 风 的 均 方 误差 为 

E[(@ —1)*] = EI({(© — E[©]) + (E[O©] — /0)}3 
= Var[l@] + (E[©] — 1)? 

如 果 曲 是 无 偏 的 , 则 最 后 一 项 即 偏差 的 平方 项 (参见 定义 6.8-2) 为 零 。 对 于 此 例 来 说 , @ = 
a4， 因 此 


(6.9-12 ) 


E[(© —1)*] = ovVar + (ap — 1)? 


2 一 2 
CQ IT < 
=——+t- Da 


(6.9-13) 
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为 得 到 最 小 均 方 误差 估计 ， 将 式 (6. 9-13) 对 a 微分 并 令 等 于 零 ,得 到 最 佳 值 Q =ao， 即 
2 Tn 
eo i rt 


6.10 向量 参数 的 线性 估计 ” 


现实 中 许多 测量 问题 可 用 如 下 模型 描述 : 
yt = | nC nen)ar + nl) (6.10.1) 
其 中 y(t) 是 观测 或 测量 值 , 7 是 积分 设 定 , 9(7) 是 未 知 参数 函数 , h(t, 7) 是 联系 参数 函数 到 


测量 系统 的 特性 函数 , 与 9(7) 独 立 , 2( 芒 是 不 可 避免 的 测量 噪声 。 为 计算 方便 , 式 (6. 10-1) 
需要 转换 到 离散 形式 


(6.9-14) 





Q0 二 


Y=HO+N (6.10-2) 
其 中 了 是 由 了 ,$=1,…, n 组 成 的 nw x1 的 观测 向 量 , 五 是 已 知 的 rxk 和 矩阵 (n>k) ,0 是 未 
知 的 k x1 参数 向 量 , N 是 由 第 i 个 观测 了 了; 对 应 的 噪声 误差 入;, $=1,…, n 所 组 成 的 nv x1 的 
随机 向 量 , 不 失 一 般 性 , 假定 BLN] =0%。 
式 (6.10-2) 是 线性 模型 ,回答 以 下 问题 : 如 果 约 束 估计 @ 是 了 的 线性 函数 , 我 们 如 何 从 
观测 了 了 中 得 到 8 的 一 个 好 估计 。 线 性 函数 意味 着 
©=BY (6. 10-3) 
其 中 B 与 了 独立 , 需要 计算 得 到 。 这 个 问题 很 具有 实际 意义 , 它 是 参数 估计 理论 中 最 基本 的 
问题 , 在 许多 教材 中 有 详细 描述 ,如 Kendall 和 Stuart*- 中 ，Lewis 和 Odells -1 。 它 也 是 随机 
向 量 概率 理论 的 直接 应 用 ， 对 于 后 续 章节 各 专题 的 理解 非常 有 帮助 。 
在 用 式 (6. 10-3 ) 计 算 矩 阵 吾 之前, 首先 介绍 矩阵 微 积 分 中 的 一 些 结论 。 


标量 函数 对 向 量 的 微分 令 q(x) 为 向 量 x=[x,,…, w] 的 标量 函数 , 则 有 


dd 和 [so 86g] 











会 | 二 汪 (6. 10-4) 
dx Ox1 Ons 
因此 , q(x) 对 x 的 微分 是 一 列 向 量 , 其 第 i 单元 为 q(x) 对 x; 的 偏 导 。 
二 次 型 的 微分 今 4 为 一 实 对 称 %xn 和 矩阵 ,x 为 一 任意 维 向 量 , 则 二 次 型 

q(x) 全 xT4x 

对 x 的 微分 为 
de) _a4x (6. 10-5) 

dx 


式 (6.10-5) 证 明 如 下 : 
q(x) = >》, Dyny 


i=1 j=1 


也 
2 i Qii 十 3 i eh] 


7 





@ 这 一 节 对 首次 阅读 的 读者 可 跳 过 。 
@ 符号 0 此 处 表示 零 向 量 , 也 就 是 说 , 向 量 的 各 单元 都 是 零 。 
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汉 
人 = 2XkQkk 十 2 ee 
一 0 
t= 
即 
dq(x) _ 
=2Ax (6. 10-6) 
标量 积 的 微分 邻 a 和 x 为 两 个 n 维 向 量 , 由 y =a x, 有 
Y =a (6. 10-7) 
令 x, 8 为 两 个 n 维 向 量 , 4 为 ?2 x7 矩阵, 则 由 gq4A4y "Ax, 有 
Og ,7T 
Bx =A'y (6. 10-8) 
回 到 式 (6. 10-2) 
Y=HO+N 
并 假定 (回想 E[N] =0) 
KS ENN']=o7 (6. 10-9) 


其 中 工 是 单位 矩阵 。 式 (6. 10-9) 表 明 测 量 误差 N,, i =1,…, n 是 不 相关 的 ,其 方差 相同 且 等 
于 a, 这 有 时 称 为 白 噪声 。 
估计 9 的 一 个 合理 选择 是 寻找 使 下 述 定 义 的 均 方 和 S 最 小 的 

SES(Y—- HO)'(Y — HO)ES IY — HOIl? (6. 10-10) 
注意 到 通过 了 -五 @ |? 最 小 化 得 到 的 与 测量 了 最 拟 合 的 @,， 就 是 通常 所 说 的 与 数据 的 最 小 
二 乘 拟 合 。 因 此 通过 使 式 (6. 10-10) 的 S 最 小 化 得 到 的 @ 称 为 最 小 二 乘 (LS) 法 , 它 是 最 小 均 
方 误差 估计 的 一 种 形式 。 为 计算 关于 的 最 小 S, 有 

S-Y'Y+1©@ HHO_O'H'Y_Y'HO 
计算 得 到 [应 用 式 (6.10-4) 、 式 (6.10-5) 和 式 (6. 10-8) ] 


2 二 站 二 2IHTHIO© -2H'Y 
oa0 





可 得 (假定 五 "五 是 可 逆 的 ) 
@rs = (HTH) HY (6. 10-11) 

将 结果 与 式 (6. 10-3) 比较 可 见 , 式 (6.10-3) 中 的 B 如 给 定 为 BA (H'H) 'H', 即 为 最 小 二 乘 
估计 。 式 (6.10-11) 为 9 的 基于 测量 了 了 的 最 小 二 乘 估 计 。 

精明 的 读者 注意 到 我 们 没有 应 用 及 =o27, 事实 上 , 在 得 到 式 (6. 10-11) 过 程 时 , 将 了 看 成 确 
定性 的 , 而 通过 将 方程 了 =H6 中 的 系统 简单 求 逆 得 到 @,s[ 参见 Lewis 和 Odell(6-9, p.6)], 实 
际 上 , 由 式 (6. 10-11) 给 出 的 估计 @s 并 不 一 定 是 最 佳 的 。 而 当 噪 声 NN 的 方差 如 式 (6. 10-9) 所 
示 时 ,Ois 事 实 上 具有 最 佳 性 质 。 我 们 留 给 读者 证 明 @s 是 无 偏 且 最 小 方差 估计 。 
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例 6.10-1 给 定 下 列 数 据 : 


6.2= 30+ ni 
7.8 一 40 十 12 
2.2 一 0 十 73 
求 6 的 最 小 二 乘 估计 。 
解 ”数据 可 以 写成 如 下 形式 : 
y=HO+n 


其 中 y=[6.2, 7.8, 2.2]" 是 了 了 的 实现 , 再 是 [3, 4, 1]7 的 列 向 量 , Rn =[n, nso, ms] "是 N 
的 实现 。 由 HH = 了 HH =26 及 H'y = 了， Hiy, = 52, 有 








2 Hiy; 52 
brs =(H"H) Hy= =2 
入 H2 26 


例 6.10-2 ([6-8, p.77.]) 令 9 = [0,, 9,] 为 待 估计 的 二 元 参数 向 量 , 令 及 为 hx2 系 
数 矩 阵 ， 可 以 分 解 成 列 向 量 形式 百 = (HiH,), 其 中 有 H;, i =1, 2 为 n 维 向 量 。 观测 数据 为 Nn 
维 向量 了 了 ,线性 模型 形式 假定 为 
Y= (HIiH20+N 
6 的 最 小 二 乘 估计 为 
sa Ee 


es = pIH, HTH HIY 
2 人 1L2A2 2 


小 结 


在 统计 学 的 参数 估计 部 分 , 我 们 对 观测 数据 应 用 概率 工具 来 估计 联系 概率 函数 的 参数 。 
本 章 开始 强调 了 对 感 兴趣 随机 变量 的 独立 同 分 布 观测 重要 性 , 然后 描述 了 如 何 根 据 观 测 来 估 
计 均 值 、 方 差 等 参数 , 特别 是 在 正 态 分 布 情况 , 用 置信 区 间 的 概念 来 对 观测 数目 有 限时 如 何 对 
参数 下 一 个 有 力 (确信 无 疑 ) 的 结论 , 这 样 , 我 们 可 以 说 基于 观测 , 真实 的 均值 或 方差 或 两 者 会 
接近 100% 置信 度 位 于 计算 出 的 间隔 内 , 我 们 研究 了 标准 均值 估计 函数 , 其 是 无 偏 且 一 致 的 。 

我 们 发 现 描述 7 随机 变量 概率 行为 的 t 分 布 , 对 分 析 正 态 随机 变量 在 方差 未 知 时 的 均值 
置信 区 间 非 常 重 要 。 

在 估计 正 态 随 机 变量 方差 时 , 卡 方 分 布 在 分 析 方 差 的 接近 100% 置信 区 间 时 非常 有 用 , 我 
们 简要 讨论 了 从 排序 观测 中 估计 正 态 随机 变量 标准 差 的 方法 。 

我 们 证 明了 置信 区 间 能 用 于 分 析 正 态 分 布 以 外 的 参数 , 通过 指数 和 伯 努 利 分 布 举例 证 明 。 

讨论 了 基于 哪 一 个 参量 最 有 可 能 产生 观测 数据 来 估计 参数 的 方法 ,这 个 方法 称 为 最 大 似 
然 佑 计 (MLE ) ,这 是 个 十 分 有 效 的 方法 , 但 并 不 总 是 得 到 无 偏 或 最 小 均 方 误差 估计 。 

在 本 章 后 一 部 分 , 介绍 了 非 参 数 方法 的 参数 估计 ,也 称 为 分 布 无 关 估 计 , 它 不 假定 特定 分 
布 来 生成 观测 数据 , 在 某 种 意义 上 可 以 说 是 鲁 棒 的 。 我 们 发 现 采 用 排序 数据 和 二 项 式 分 布 , 可 
以 获得 非 参数 情形 的 一 系列 重要 结论 。 
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最 后 , 将 前 面 讨论 的 参数 估计 推广 到 向 量 情况 。 特 别 是 , 我 们 表明 了 从 观测 数据 中 估计 向 
量 均 值 和 协 方差 阵 中 的 各 单元 , 对 测量 数据 进行 线性 运算 来 估计 向 量 参 数 在 本 章 末 尾 进行 了 
简要 讨论 。 


习题 


( 带 * 号 的 习题 带 有 一 定 的 难度 , 需要 花 更 多 精力 对 教材 进一步 的 学 习 。) 

6.1 正 态 随 机 变量 也 的 有 n( 偶 数 ) 个 独立 同 分 布 观测 , 标记 为 1X,, i = 1,…, n| ,我 们 将 序列 重组 为 : 
7 = Zz, Yo = oi, i = 1,…, n/2， | 了 ,| 中 各 随机 变量 是 否 独立 ? 

6.2 及 :N(0,1) 的 三 个 独立 同 分 布 观测 ,i =1, 2, 3, 计算 .frxoxs (Xi, Zo, wa) 并 与 fx ,x xs(y) 相 比较 。 

6.3 在 一 个 发 展 中 国家 的 村 落 , 361 名 村 民 受 到 埃 博 拉 病毒 威胁 , 其 中 189 名 村 民 死 于 病毒 感染 , 计算 受 
到 埃 博 拉 病毒 威胁 后 死亡 概率 的 95% 置信 区 间 , 误差 率 是 多 少 ? 

6.4 证 明 例 6.1-6 出 现 的 多 项 式 (p -)?- (9/n)p(1-p) =0 的 根 实际 就 是 式 (6. 1-1)。 

6.5 ”参见 例 6.1-6, 计算 当 从 0 变化 到 1 时 的 lp, -ps1, 在 不 同 的 n 取 不 同 值 时 计算 , 取 n=0, 20, 30, 50。 

6.6 试 描述 如 何 测试 得 到 投 挪 硬币 时 “正面 " 朝 上 概率 的 95% 置信 区 间 。 

6.7 考虑 式 (6.3-3) 和 式 (6.3-4) 的 方差 估计 函数 , 证 明 当 n==20 时 , 它们 的 差别 变 得 极 小 。 再 现 如 下 的 曲线 。 

,方差 估计 函数 的 差异 与 样本 数 n 


0.5 
呈 0.4 
洪 0.3 
0.2 
0.1 


0 
40 


20 
样本 数 
6.8 当 X:N(1, 1) 时 , 计算 nw 的 函数 P[ jx(n) -wxl<0.1]。 
6.9 绘 出 单位 方差 的 正 态 随机 变量 均值 95% 置信 区 间 的 宽度 与 样本 数 的 图 形 。 
6.10 证 明 伽 马 概率 密度 函数 


=1 
fl P= (eitptet) Texp(—7/B),T>0;a> -109>0 


的 MGF 为 M(t) =(1-BD) -esn。 
6.11 和 :NUu,a2) 的 歼 个 独立 同 分 布 观测 为 站, i=1，…, nn, 令 革 = 于 二 ,应 用 习题 6.10 的 结论 证 明 机， 


Or 





4 "下 的 概率 密度 函数 为 个 自由 度 的 XY 即 
fw (Wn) = ([(n/2) — 2™?) wt /YT exp(—(1/2)w),w > 0 
6.12 X:N(,o”) 的 nn 个 独立 同 分 布 观测 为 生 , 令 扩 = nn ,0 = (1 了 (Xi 及 )”。 证 明 
应 和 人 相互 独立 (提示 : 可 采用 和 矩 生成 函数 , 若 不 成 功 可 参考 附录 F) 。 
6.13 令 X:N(p, 0 ) 及 WW, 尖 为 两 个 独立 随机 变量 , 令 Y 了 4 人。 


(a) 证 明了 和 W 的 联合 概率 密度 为 
W("-2)/2 exp(—0.5w) 


< < 6 动 福 他 
[(n — 2)/2]12n73 i 








fyw, (y,w) = 友 : exp(—0.5y” ) x 


6. 14 


6. 22 
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A mk 
/Wm Vm Fa” +e/ ~® <t<%, 


n 


i 概率 密度 函数 (提示 : 应 用 适当 的 二 元 变换 ) 。 
令 砚 ,和 区 分 别 为 独立 她 和 记 变量 , 则 FA 


Vn 

具有 1 和 个 自由 度 的 下 分 布 。 
采用 MATLAB, Excel, 或 其 他 科学 计算 程序 产生 正 态 随 机 变量 X:N(0,1) 均 值 的 95% 置信 区 间 。 每 
个 区 间 计 算 采 用 50 个 观测 并 重复 实验 50 次 , 每 次 实验 记录 区 间 长 度 和 是 否 包括 均值 , 均值 应 为 零 。 
每 个 区 间 采 用 100 个 观测 重复 一 次 。 
证 明 式 (6.2-3) 的 样本 方差 的 无 偏 性 。 
证 明 式 (6.2-3) 的 样本 方差 的 一 致 性 。 
证 明 应 用 式 (6.3-7) 对 cx 的 一 次 估计 的 方差 为 Var(5) = (也 - 1)ax ~ 0.57cx。 
观测 到 下 列 正 态 数据 : 

3.810e +0 2.550e +0 -1.l50e +0 -1.230e+0 5.640e -1 
-1.420e -2 -2.370e +0 2.500e +0 1.130e +0 -1.670e +0 
—3.000e +0 1.7380e+0 -7.040e -1 -9.680e -1 -9.630e -1 
求 分 布 方差 ox 的 95% 置信 区 间 。 
证 明 式 (6.6-6) 的 数值 a 为 a =20xs2，-Q=20-52， 即 4 为 Z:NC0,1) 的 (1+56)7/2 百分点 。 
用 随机 变量 发 生 器 得 到 20 个 N(0, 2) 分 布 的 正 态 随机 变量 , 应 用 式 (6. 4-12 ) 的 估计 器 估计 其 方差 ， 
并 应 用 式 (6.4-2) 的 无 偏方 差 估计 器 估计 同一 批 数据 。 


XK, 一 Mr( 7 
令 下 NUur， 02%) 的 三 个 观测 为 ,Xs， 2%， 令 VA 


由 度 的 卡 方 分 布 。 

应 用 正 态 随机 变量 发 生 器 得 到 20 个 满足 也 : N(0, 2) 分 布 的 数据 , 计算 其 方差 的 95% 置信 区 间 。 试 将 
5% 的 误差 等 分 到 卡 方 分 布 概率 密度 函数 的 两 边 从 而 得 到 近似 解答 。 

应 用 正 态 随机 变量 发 生 器 得 到 20 个 满足 和 : N(0, 1) 分 布 的 数据 |x;, i = 1, …, 20| , 重复 此 过 程 获 
得 一 组 新 的 数据 |y;, i = 1,…, 20| 。 产生 两 组 数据 |w;, i = 1, …, 20| 和 |v,, i =1,…, 20|, 满 
足 w; = zi + (Y/Y2) 及 Vv， = zi - (yi/ V2)，, 则 随机 变量 W 和 V 具 有 相关 系数 pw = 1/3) (证 明 此 
结论 ), 计算 样本 相关 系数 P'yw 的 大 小 。 

证 明 式 (6.3-1) 的 方差 估计 函数 是 无 偏 且 具 有 一 致 性 。 

求 概率 质量 函数 为 Px(n) = (1 -a)a"w(n) 的 随机 变量 也 的 均值 和 方差 , 并 计算 卫 均 值 的 95% 置信 
区 间 。 


在 例 6.53 中, 说 明了 P| -as<- sn] =5 等 价 于 PL(p -)'<aipq/n] =8, 试 证 明之 。 


证 明 均 值 的 最 大 似 然 估 计 具 有 均 方 一 致 性 。 

计算 指数 概率 密度 函数 参数 A 的 最 大 似 然 估计 , 证 明 似 然 函 数 实际 上 在 MLE 处 为 最 大 值 。 
计算 二 项 式 概率 质量 函数 参数 p AP[ success ] 的 最 大 似 然 估 计 。 

计算 (Xx) =(5-a) (zz-a) -wzZz-Db) ) 中 参数 w,p(a<D) 的 最 大 似 然 估计 。 

考虑 线性 模型 了 =Ja + px +V, 其 中 


(b) 令 TA 





为 具有 m 和 个 自由 度 的 五 分布 , 证 明 条 为 


,i=1, 2, 3。 证 明 多 ，, Vi 为 两 个 自 


YE[Y,...,Y,]T 
VElV,..., Vs] 
I 会 nxn 单位 矩阵 
XE [zi :a Tn] 

Ca 人 [a,:..,a]T 
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a, 5 为 待定 的 常数 。 假 定 | Vi, i =1,…, n| 为 个 独立 同 分 布 N(0, cz) 随机 变量 , 对 每 一 i=1, …， 
n, wi, i=1,…, nn 为 随 i 变 化 常数 , 称 为 控制 变量 。 

(证 明 } 歼 , 宇 =1，…， nn| 服 从 N(a+bw, os)。 

(让) 写 出 似 然 函 数 并 证 明 当 对 ，,( 马 - (a + bx,))? 最 小 时 其 最 大 化 。 


(这 ) 证 明 a 的 最 大 似 然 估计 为 Cu =Ar - br 五 ,5 的 最 大 似 然 估计 为 bm = 全 2 一 一, 其 中 


hy 全 (1/n) DY 
za (1/n) Dr zi 


6. 33 ”假定 学 院 的 足球 队员 体重 服从 均值 220 磅 、 标 准 差 20 磅 的 正 态 分 布 , 确定 随机 变量 体重 的 95% 百分点 。 
6.34 计算 几何 分 布 随机 变量 的 中 值 。 
6.35 计算 卡 方 随机 变量 的 均值 和 中 值 。 


6.36 证 明 30% 百分点 的 估计 xo.s 是 由 内 插 公式 到 + 


Y= )(W =4il 
(Y¥, ee ) ,给 出 ,其 中 随机 变量 |， 


i=1,…, 10| 为 非 排 序 的 独立 同 分 布 随 机 变量 |X,, ¢ =1,…, 10| 排序 得 出 。 





6.37 ”以 0.99 的 概率 覆盖 50% 百分点 需要 多 少 样本 ? 提示 : 应 用 式 P[Z <m ,< 也] = 3 (7) 2)"= 


0.99, 其 中 了 YAmin(X,, XX,,…, XX,), YAmax(X,, X,,…,X,)o 


“6.38 ”证 明 排序 随机 变量 了 ,了 的 联合 概率 密度 函数 为 


fyiy, (yi Yn) = nn—1) (Fx(yn) — Fx(y))™ fx(yi)fx(yn),—% < <yn<% 
其 中 了 Amin(X ,XX,。,，…, XX,) ,了 ,和 Amax( 忆 ,了 。，…, 了 X,)。 提 示 : 考虑 了 ,7,,…, 又 的 联合 概 
率 密度 函数 并 对 首尾 除外 部 分 进行 积分 。 


“6.39 1 了 ,, i=1,…, n| 为 一 排序 随机 变量 集 , 定义 集合 范围 为 RAY, -了 7。 考虑 概率 密度 函数 为 


Jfx(7X) =wu(X) -u(x-1) 的 了 的 6 个 观测 1 和 ,i =1,…, 6|, 其 中 以 (x) 为 单位 阶 路 函数。 证 明 
Jr(7) =307(1 -7) ,0 <r<1。 提示 : 应 用 结论 fy (2 ， 9,) =n(n-1) (Fx(y,) -Fxr(y))"™ 
fx(Vi)Jfx(yn)，-% < <ys<% ,并 定义 两 个 随机 变量 RAY 五 ,， SAY , 求 出 frs(7, s) 后 对 S 
求 积分 可 得 的 结果 。 
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第 7 曹 假设 检验 


假设 检验 在 统计 判决 理论 的 广泛 应 用 中 是 一 个 重要 的 主题 , 统计 判决 理论 还 包括 其 他 方 
面 ,比如 预测 、 统计 回归 、 游 戏 理 论 、 统计 建 模 及 信号 处 理 中 很 多 基础 部 分 , 然而 , 假设 检验 
通常 是 这 些 更 加 高 级 应 用 领域 的 基础 0。 

假设 的 形式 如 下 : 我 们 做 出 一 个 假设 , 即 一 个 参数 为 一 个 确定 值 , 或 于 某 一 个 确定 范围 
内 ,或 一 个 确定 事件 发 生 , 则 对 应 备 选 假设 2 参数 为 其 他 数值 ,或 于 其 他 范围 ,或 一 个 事件 没 
有 发 生 。 然 后 , 基于 实际 数据 , 我 接受 (或 拒绝 ) 此 假设 或 接受 (拒绝 ) 备 选 假设 。 参 数 估计 和 
假设 检验 很 明显 是 相关 的 , 比如, 判决 一 集合 均值 等 于 另 一 集合 的 已 知 均值 假设 成 立 。 实 质 上 
等 价 于 对 前 一 集合 的 均值 做 出 估计 , 并 判定 其 与 已 知 均值 足够 接近 ,以 至 于 认为 是 相等 的 。 

在 现实 中 , 我 们 经 常 在 没有 掌握 所 有 事实 , 或 我 们 的 知识 来 自 于 固有 概率 的 观测 情况 下 被 
迫 做 出 判决 。 我 们 都 (大 概 ) 知 道 某 重度 吸烟 者 在 80 岁 时 过 得 很 好 , 同时 ,也 知道 某 非 吸烟 者 
在 50 岁 时 死 于 肺 瘤 ,， 这 会 意味 着 吸烟 与 肺癌 无 关 ? 以 前 , 烟草 公司 负责 人 会 说 是 , 而 癌症 专 

会 说 不 。 但 根据 后 来 的 证 据 , 现在 已 没有 一 个 理智 的 人 会 否认 吸烟 是 会 增加 肺癌 死亡 率 
的 。 尽 管 如 此 , 这 不 同 于 一 个 人 从 20 楼 摔 到 水 泥 地 面 , 重度 吸烟 者 并 不 总 是 死 于 肺癌 或 相 
关 疾 病 , 吸烟 与 肺癌 的 关系 本 质 上 是 概率 的 。 下 面 的 各 部 分 我 们 将 讨论 在 概率 环境 下 做 出 
判决 的 方法 。 


7.1 贝 叶 斯 判决 理论 


在 随机 环境 下 采用 贝 叶 斯 方法 做 出 判决 可 能 是 人 类 想 出 的 最 合理 的 步 又。 遗憾 的 是 , 采 
用 基本 形式 的 贝 叶 斯 需要 我 们 不 能 精确 获得 或 不 可 能 获得 的 信息 。 我 们 用 下 述 例子 阐述 贝 叶 
斯 理论 的 应 用 及 其 存在 的 不 足 之 处 。 

例 7.1-1 (判决 是 否 做 手术 ) 假 定 你 是 一 个 外 科 医 生 ， 你 的 病人 刁 射 线 显 示 左 肺 有 个 瘤 
子 ， 病 人 40 岁 , 没有 吸烟 史 ， 其 他 方面 很 健康 。 让 我 们 将 问题 简化 为 两 种 可 能 状态 : (1) 瘤 子 
是 早期 癌 细 胞 ,不 手术 将 扩散 并 致死 ; (2) 瘤 子 是 良性 的 ,不 会 增加 健康 风险 。 将 前 者 表示 为 
外， 后 者 表示 为 La。 读者 会 发 现 输出 空间 (看 “样本 空间 ”部 分 )Q2 仅 有 两 个 点 ， 即 2 = | i， 
如 | ， 当 然 在 复杂 情况 下 会 有 更 多 。 人 外 科 医 生 的 工作 是 做 出 对 病人 最 有 利 的 判决 (并 做 出 相应 
治疗 )。 问 题 是 医生 不 通过 手术 无 从 知道 到 底 是 还 是 Y， 这 有 两 个 选项 : 手术 (ai ) 或 不 手 
术 (a,)。 

哪 种 方式 最 佳 通常 是 不 明显 的 ,然而 ,在 其 他 情况 不 变 时 ,这 个 案例 的 合理 最 佳 是 判决 将 
使 得 病人 正常 寿命 缩小 年 限 最 小 化 。 有 四 种 情形 需要 考虑 : 


(1) 医生 判决 瘤 子 为 良性 的 ,不 做 手术 





@ 有 几 本 教科 书 与 此 相关 ,如 参考 文献 [7-1] 至 参考 文献 [74] 。 
@ 在 备 选 假设 也 通常 简称 为 备 选 , 因此 , 可 能 会 看 到 有 “我 们 考察 假设 … 对 备 选 …”。 


第 7 章 假设 检验 287 


(2) 医生 判决 瘤 子 是 癌 细 胞 , 不 做 手术 

(3) 医生 判决 瘤 子 为 良性 的 , 做 手术 

(3) 医生 判决 瘤 子 是 癌 细 胞 ,做 手术 

先 验 数据 表明 中 年 非 吸 烟 者 肺 部 的 瘤 子 70% 是 良性 的 , 因此， 瘤 子 为 癌 细 胞 的 概率 是 
30% ,同时 医生 也 有 表 7.1-1 的 数据 。 

表达 式 |l(a;, 6) ,Y=1,2; 了 =1, 2| 称 为 代价 函数 , L(a;, ) 为 当 状 态 是 6 而 做 出 a; 行 
为 所 付出 的 代价 。 读 者 可 能 会 问 为 什么 la, 1) =l(41, 如) =5 而 不 是 零 ， 医生 知道 手术 是 
有 风险 的 ， 即便 是 健康 的 人 也 会 受到 术 后 MRSAD 或 革 兰 氏 阴 性 菌 的 感染 加 , 除非 绝对 必要 ， 
大 多 数 医生 会 选择 非 损伤 性 手术 而 回避 损伤 性 手术 。 因 此 ,由 于 感染 或 医生 承担 的 其 他 风险 ， 
加 上 病人 在 术 中 死亡 等 因素 , 我 们 分 配 的 平均 寿命 损失 年 限 为 5 年 。 





表 7.1-1 
判 决 实际 状态 自然 寿命 减少 的 年 限 
不 手术 (as 行为 ) 良性 组 织 (&) las,t2) =0 
不 手术 (as2 行为 ) 癌 细 胞 (Zi ) l(a2, 1) =35 
手术 (ai 行为 ) 良性 组 织 (¢2) l(ai, io) =5 
手术 (a 行为 ) 癌 细 胞 (5&1 ) la, t1) =5 


下 面 , 介绍 判决 函数 d 的 概念 。 判 决 函 数 d 是 观测 数据 的 函数 ,因此 写 为 Q(X ,Xs。，…， 
X,)，, 其 中 |X;, =1,，…, Nn| 是 对 随机 变量 (RV) 立 的 nn 个 独立 同 分 布 的 观测 。 判 决 浮 数 
Q( 和 总， 总) 帮助 指导 医生 采取 哪 种 行为 , 即 Qi 或 a。。 在 这 个 例子 中 ,我们 限定 为 单一 
观测 卫 ， 即 瘤 子 边界 长 度 的 平方 与 区 域 的 比值 , 这 是 一 个 瘤 子 边缘 不 规则 形 的 测度 : 边缘 越 
不 规则 ， 瘤 子 为 癌 细 胞 的 可 能 性 就 越 大 (参见 图 7.1-1)。 因 此 , 我 们 预计 癌 细 胞 (bi ) 的 随机 
变量 卫 相 比 于 良性 时 (5s) 的 承 在 大 多 数 情况 下 会 得 到 较 大 值 。 此 时 得 到 尺 的 实现 即 为 数 
据 集 。 





(a) (b) 
图 7.1-1 (a) 良 性 瘤 子 有 规则 的 边界 ; (b) 癌 细胞 有 不 规则 边界 
令 f(X; 各) 和 JUzZzi 如 ) 分 别 表示 下 在 和 2 如 时 的 概率 密度 函数 (参见 图 7.1-2), 为 简化 
及 突出 可 视 效 果 , 在 本 例 中 假定 概率 密度 函数 为 连续 的 单 峰 形 式 ， 另 外 ， 如 图 7.1-2 所 示 , 假 
定 存在 一 常数 c， 当 数据 落 在 cC 的 右 侧 , 则 被 视 为 有 癌 细 胞 的 证 据 ， 若 数据 落 在 C 的 左 侧 ， 则 
视 为 癌 细 胞 不 存在 。 若 有 证 据 表 明 癌 细胞 存在 , 则 将 执行 w 行为 ,否则 执行 os 行为 。 既 然 这 





@ 耐 甲 氧 西林 金黄 色 葡 萄 球菌 。 
习 ”此 种 病菌 在 医院 流行 并 且 很 难处 理 。 
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是 概率 事件 , 一 定 有 错误 发 生 ， 因 此 


Plailt,|] = | f(z;L2)d7r (7.1-1) 
为 证 据 显 示 有 癌 细 胞 而 需要 手术 , 但 事实 不 是 癌 细 胞 的 错误 概率 。 同 样 
Plealed=| f(z; C1)dr (7. 1-2) 


为 证 据 显示 不 是 癌 细 胞 而 不 需要 手术 , 但 事实 是 癌 细 胞 的 错误 概率 。 
fr) f(x;6) 





C Xx 
图 7.1-2 存在 c 值 ( 待 确定 ) 使 得 期 望 风险 最 小 。 在 区 域 T A( -%,c] 内 的 数据 更 可 能 与 良性 结论 并 导致 
行为 (不 手术 ) 相 关 , 而 区 域 夏 ALc,w% ) 内 的 数据 更 可 能 与 癌 细 胞 结论 并 导致 a 行为 (手术 ) 相 关 
当 状 态 为 & 而 判决 规则 为 @ 的 代价 的 条 件 期 望 称 为 风险 RR(d, 5)， 因 此 
R(d;¢2) = la1;¢2)Plailt2] + l(a2;62)Pla2le a] (7.1-3) 


和 
R(d;t1) = l(a1;61)Plale] + (a2; 1)Plazle] 
最 后 , 用 B(Qd) 表 示 的 期 望 风险 定义 为 0 


B(d) = R(d; 1) PLY = 01] + R(d;t2)PY = ol (7.1-4) 
其 将 被 最 小 化 。 通 过 最 小 化 召 (G) 得 到 判决 函数 @ 即 为 贝 叶 斯 准则 。 
因此 
B(d’) = min {Rese ti] + R(d;t2)PL = a (7.1-5) 
概率 


Pi 人 SPlt=6),PE Pe=¢2] 
称 为 状态 的 先 验 概率 。 根 据 前 面 引 入 的 符号 , B(Q) 可 以 写 为 
B(d) = Pi x l(a2, 61)+ Po x l(a2,¢2) 


本 | {re (a1,62) — Ha2,62)] — Pif(z;61) [l(a2,61) — a1, 61)] | 

(7. 1-6 ) 
其 中 我 们 选择 Cc 使 得 B(d) 最 小 化 。 若 B(Qd) 表 达 式 中 的 积分 为 正 , 则 使 召 \d) 增 加 ， 若 积分 为 
负 ，, 则 使 B(Q) 减 小 。 实 际 上 , 若 选择 c, 比如 c=c" ,从 而 使 得 (Cc" ，o ) 包含 所 有 积分 为 负 的 





@ 符号 B 由 令 人 尊敬 的 数学 家 /哲学 家 托马斯 - 贝 叶 斯 采用 (1702 -1761)。 
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值 ， 而 所 有 积分 为 正 的 值 位 于 其 外 ,， 则 就 得 到 最 小 化 妃 (@) 。 使 积分 为 负 的 结果 了 (参见 “ 事 
件 "部 分 ) 表 示 为 





f(X;01) > (a1, 2») — l(a2,¢2)] PP» A 
f(Xit2) llayt) lav cB ， 


即 为 贝 叶 斯 判决 规则 , 这 说 明 所 有 (c” ，o ) 的 结果 导致 a 行为 (手术 )。 同 样 对 所 有 ( - co ， 
c” ) 的 结果 ， 即 满足 


(7.1-7) 


Xi61) 

J(XiCa2) 
导致 oa 行为 (不 手术 ) 。 常 数 c 即 满足 下 式 的 值 。 

jc 1) 

f(c*; 62) 
此 例 中 先 验 概率 是 从 数 千 例 相 似 病 例 治疗 中 积累 的 信息 获得 的 , 一 个 40 岁 、 非 吸烟 男性 的 瘤 
子 是 良性 的 可 能 性 大 于 癌 细 胞 的 可 能 性 。 举 例 来 说 , 它 可 能 是 一 个 无 害 的 残留 的 疤痕 组 织 , 或 
者 是 看 似 一 个 瘤 子 的 血管 交叉 点 。 为 简化 起 见 ， 我 们 假定 其 概率 分 别 为 Pl =0.7, P, =0.3, 则 
根据 式 (7. 1-6 ) 得 到 





< hy 





B(d) =105+ | (851i) 9f(es)) de 


这 表明 常数 "满足 3.5j(e* ; cy) -9f(c' ; 1) =0。 可 得 贝 叶 斯 判决 规则 为 
f(X; /F(X;tz) > 0.39 一 手术 
fCX; 忆 )/f(X;2) < 0.39 一 不 手术 
在 例 7.1-1 中 ,做 判决 仅仅 依据 单一 随机 变量 。 然 而 在 很 多 问题 中 ,会 基于 许多 独立 同 分 
布 随机 变量 做 出 判决 。 在 这 种 情况 下 ， 贝 叶 斯 判决 规则 的 形式 为 
FORE) PRE) en a) — Mest) BE 
FE 


了 X56D) fm < [aba) -1(02,62)] 2 4 | 措 绝 Z 状态 








(7.1-8) 





f(s ft ~ lon,t1) — (ou) RB 


读者 需 认识 到 式 (7. 1-8) 的 分 子 和 分 母 均 为 在 第 6 章 中 讨论 的 似 然 函 数 L(t;) = TI 0)， 


7 = 1, 2, 即 式 (7.1-8) 为 两 个 似 然 函数 的 比值 ( 似 然 比 ) 与 常数 相 比较 , 这 通常 称 为 似 然 比 检 
验 (LRT)。 式 (7.1-8) 中 的 常数 k, 称 为 贝 叶 斯 门限 。 

各 个 贝 叶 斯 准则 都 导致 LRT, 但 不 是 所 有 LRT 都 是 贝 叶 斯 准则 的 结果 。 贝 叶 斯 准则 寻求 
平均 风险 的 最 小 化 , 其 他 似 然 比 形式 的 检验 可 能 遵循 其 他 准则 ， 比 如 说 , 对 于 给 定 错误 概率 ， 
使 得 似 然 比 最 大 。 实 现 贝 叶 斯 准则 的 一 个 问题 是 先 验 概率 P, 和 Ps 通常 是 未 知 的 ,， 另 一 个 问 
题 是 对 于 特定 行为 指定 一 个 合理 的 代价 可 能 有 困难 。 举 例 来 说 , 你 准备 斋 破 一 打 鸡 蛋 来 做 一 
个 前 和 蛋 饼 , 你 准备 采用 贝 叶 斯 准则 使 得 代价 最 小 , 即 工作 量 最 小 。 你 将 选用 一 个 或 两 个 碗 , 此 
处 的 随机 因素 是 鸡蛋 是 否 是 好 的 , 假定 每 一 百 个 鸡蛋 中 平均 有 一 个 坏 的 , 车 你 用 一 个 碗 ,而 在 
你 认识 到 坏 鸡蛋 前 已 经 打 入 其 他 鸡蛋 中 , 则 混合 的 鸡蛋 会 浪费 。 若 采用 两 个 碗 , 在 混入 其 他 鸡 





@ ”回想 对 ( 实 ) 随 机 变量 X 映射 中 , 事件 是 在 实 轴 的 间隔 点 。 
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蛋 前 用 一 个 小 磺 来 观察 新 打出 的 鸡蛋 的 好 坏 ， ee 那么 就 会 避 
免 因 一 个 坏 鸡 蛋 浪费 好 鸡蛋 。 然 而 ， ite 不 得 不 洗 两 个 碗 而 不 是 一 个 。 如 何 合理 害 
义 此 例 中 的 代价 ”尽管 这 个 例子 不 是 非常 严肃 , 它 还 是 说 明了 贝 时 源 准则 应 用 中 的 问题 。 必 
一 个 同 题 是 对 极 少 发 生 事件 的 先 验 概率 估计 有 了 央 难 ， 举例 来 说 , 假定 一 个 国家 想 用 它 的 反 导 弹 
武器 来 防御 敌对 邻 国 的 进攻 , 如 果 防 御 战略 是 根据 贝 叶 斯 准则 来 设计 的 , 需要 知道 敌国 进攻 的 
先 验 概率 , 这 如 何 通过 合理 的 方式 来 估计 ? 


7.2 似 然 比 检验 


因为 先 验 概率 经 常 未 知 , 因此 代价 函数 不 容易 定义 , 我 们 放弃 最 小 化 期 望 风险 的 约束 , 修 
改 贝 叶 斯 判决 准则 为 


> k， 接 受 状态 





f(X1; 61):: f(Xn; C1) 
F(X) CR ;2) 
A 1) 
F(X to),. 2 fd) 
其 中 门限 值 大 是 由 贝 叶 斯 以 外 的 准则 确定 的 。 一 般 准 则 都 与 当 陈述 是 真 的 而 拒绝 的 概率 , 或 
是 当 对 立 陈 述 是 真 的 而 接受 的 概率 相关 , 这 类 检验 称 为 似 然 比 检验 , 它 检验 一 个 简单 假设 ( 陈 
述 ) 与 一 个 简单 备 选 (对 立 陈述 ) 。 为 简单 起 见 , 我 们 定义 似 然 比 检验 随机 变量 为 
全 fA) -FR OR ta) Fd) 
= L(C1)/L() 
并 通过 一 个 例子 说 明 其 应 用 。 


例 7.2-1 (检验 一 个 食品 的 声明 ) 考 虑 一 个 健康 食品 制造 商 声 明 其 开发 了 一 个 小 吃 , 可 
以 为 肥胖 小 孩 减 轻 体重 D。 据 称 美 味 的 小 吃 店 可 以 抑制 胃口 ,因此 降低 在 就 餐 时 间 之 间 对 蓝 
条 、 汉 堡 、 苏 打 饼 、 巧 克 力 等 肥胖 食品 的 欲望 。 为 检验 此 声明 的 有 效 性 , 我 们 选取 nn 个 小 防 
(一 群 小 孩 中 选取 的 一 个 子 集 ) ,提供 他 们 减肥 小 吃 。 一 个 月 后 ,小孩 的 平均 体重 为 98 磅 ， 标 
准 差 为 5 磅 ,这 群 小 孩 中 的 其 他 小 孩 ， 即 没有 提供 减肥 小 吃 的 小 孩 , 平均 体重 102 磅 ,标准 差 
为 5 磅 。 我 们 做 出 减肥 小 吃 对 控制 体重 无 效 的 假设 ， 称 为 零 假 设 , 用 及 表示 , 备 选 假设 用 
Hs 表示 ， 即 减肥 小 吃 对 控制 体重 有 效 @@。 哪 个 假设 指定 为 HI 并 不 重要 , 但 是 一 旦 做 出 选择 ， 
在 整个 问题 中 需要 保持 一 致 。 在 没有 清晰 的 代价 函数 情况 下 , 我 们 关注 其 错误 概率 ,定义 

aAP[ 当 且 为 真 时 判决 惠 s 为 真 ] 

es 了 :为 真 时 判决 于, 为 真 ] 
用 独立 同 分 布 随机 变量 X;， …， Nn 表示 nh 个 小 孩 体 重 , 假定 两 群 小 孩 体重 是 以 均值 为 中 
心 的 正 态 分 布 @， 即 


(7.2-1) 
< ,拒绝 纪 状 态 





(7.2-2) 





小 太 肥 及 是 美国 一 个 严重 的 问题 ,从 目前 热 革 消费 速度 推 师 , 到 2020 年 将 有 四 分 之 三 的 美国 人 超重 或 肥胖 (消费 者 报 
, 2010 年 12 月 ， 和 11 页 )。 

这 人 句 话 的 意思 是 : 这 是 一 个 暂时 接受 的 假设 ,没有 证 据 明显 支持 。 若 后 续 信息 不 支持 ,这 个 假定 会 被 拒绝 。 

在 许多 书 中 , 零 假设 用 孩 表示 , 备 选 假设 用 五 。 表示 , 我 们 选用 了 数字 下 标 表示 法 。 

此 处 正 态 特 性 只 在 概率 密度 函数 均值 附近 o 取 值 较 小 时 有 效 ， 显然 在 尾部 是 无 效 的 , 例如 ,如 何 能 取 一 个 “ 负 体 重 " 呢 ? 


S09 日 


第 7 章 假设 检验 291 


1 1 /zx;— 102\? 


1 ON 
| ;人 (2 ) | 


注意 到 fx(Xi, 有 1) (fx(Yi, Hi)) 分 别 是 X;, $=1,…, Nn 在 于 (Hs) 假 设 下 的 概率 密度 函数 。 


根据 式 (7.2-2) 有 
= YN 
Gal 














可 化 简 为 


其 中 fix(n) 全 1 > 总， 已 ,常数 ,与 样本 数 人 有 关 ， 与 |XX;, i =1,…，,n| 无关。 判决 函数 为 
若 Ki, exp (名 ax ) > kn，Hi 为 真 ,( Ho 为 假 ) 
25 


由 于 A 的 自然 对 数 (InA) 是 A 的 增 函 数 (参见 图 7.2-1), 将 不 同 常量 简化 为 单个 常量 后 ,可 以 
用 自然 对 数 形式 表示 判决 函数 为 


若 Kj, exp (和 Bax) ) 过 kn，Ho 为 真 ,( Hi 为 假 ) 


若 人 x(n) > cn， HI 为 真 

若 fixy(n) < cn， 2 为 真 
其 中 cv 是 与 测试 小 孩 数目 nn 相关 的 常数 ,并 由 我 们 选 定 的 准则 确定 。 若 盏 为 真 , 则 jx(n) 分 
布 为 N(102, 25/n)，,， 即 





I 1 fz — 102]? 
i 


若 万 为 真 , 则 jx(n) 分 布 为 N(98, 25/n)， 即 


1 人 | 
50m/n PIs [Vn 
x(n) 在 有 H 和 瑟 情 况 下 的 概率 密度 函数 如 图 7.2-2 所 示 。 
假定 准则 中 我 们 指定 w =0.025, 回想 aAP[ 当 万 为 真 时 判决 甩 , 为 真 ]， 则 有 


cn — 102 
性 办 之 5 
7 ) = Fon(zo0n) 


根据 正 态 表 并 简化 , 给 出 门限 值 为 cv =102 - (9.8/Vn)。 与 其 他 地 方 一 样 , 符号 Fss(z) 表 示 标 
准 正 态 随机 变量 在 2 处 的 累积 密度 函数 ,因此 且 为 真 判决 需 满足 (102 - (98/Vn) <jx(n) <oo )， 
既然 实 轴 上 间隔 即 为 随机 变量 的 映射 , 也 可 以 写成 (102 - (9.8/Vn)，,，% ) 。 样 本 数 即 对 门限 
的 影响 在 图 7.2-3 中 显示 , 检验 的 势 随 样 本 数 增加 而 增加 ,如 图 7.2-4 所 示 。 势 的 增加 意味 着 
当 本 ,为 真 时 错误 判决 概率 下 降 。 


fn(z, H2) = 





0.025 = | flr, Hi) dr = Falen) = Fron ( 
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3 In(x) 与 x 


In(x) 





7.2-1 zz 的 自然 对 数 是 x 的 增 函数 


错误 概率 a 称 为 第 一 类 错误 概率 或 检验 显著 性 水 平 ?, 概率 PA1 -6 称 为 检验 的 势 , 8 称 

为 第 二 类 错误 概率 。 检 验 的 势 就 是 当 备 选 假 设 为 真 时 , 我 们 拒绝 零 假设 的 概率 。 尽 管 都 是 错 
误 概率 , 一 般 来 说 , 不 可 能 使 得 a 和 8B 同时 很 小 , 通常 有 a +B =1。 

0.09 

0.08 falx, Hi) 








0 20 40 60 80 100 120 140 
图 7.2-2 例 7.2-1 中 有 访 (z, Hi) 和 所 (XH ) 的 概率 密度 函数 


当 @ = 0.025 时 的 门限 与 样本 数 


门限 值 
< 
% 


0 20 40 60 80 100 120 
样本 数 


图 7.2-3 样本 数 增加 , 门限 值 向 右 移 动 


@ 错误 概率 a 有 时 称 为 检验 的 尺寸 。 
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当 @ = 0.025 时 的 似 然 比 检验 的 势 








0.81] 
次 0.6 
0.4] 
0.21 
0 
20 40 60 80 100 120 
样本 数 


图 7.2-4 检验 的 势 随 样 本 数 增加 而 增加 , 这 是 好 现象 。 最 佳 检验 是 对 于 
给 定 2 和 aw 对 势 的 最 大 化 ,此 例 中 ,检验 实际 上 是 最 佳 检 验 
可 能 会 有 读者 对 例 7.2-1 中 的 问题 提出 疑问 , 也 就 是 说 , 既然 吃 减肥 小 吃 的 小 孩 体 重 比 其 
他 小 孩 平 均 轻 4 磅 , 为 何不 根据 这 个 证 据 判 定 减肥 小 吃 对 体重 控制 的 有 效 性 ?” 这 会 忽略 即使 
对 于 体重 较 大 的 一 群 小 孩 , 98 磅 也 在 102 磅 的 一 个 标准 差 内 的 事实 , 这 意味 着 如 果 样 本 数 较 
小 , 我 们 可 能 会 得 出 小 吃 有 效 的 错误 结论 。 此 外 , 这 个 简单 方法 不 会 告诉 我 们 误 判 的 概率 。 
例 7.2-2 ( 正 态 分 布 人 群 均值 的 差异 ) 营养 学 界 有 一 种 认识 ， 即 把 援助 第 三 世界 营养 不 
良 的 儿童 通过 饮食 中 富 含 W-3 脂肪 酸 ( 比 如 鱼油 ) 和 复合 碳水 化 合 物 ( 全 麦 、 玉 米 、 糙 米 等 ) 的 
方法 , 在 提高 健康 的 同时 , 能 在 13 岁 时 提高 IJQ 值 10 个 点 。 为 测试 这 个 结论 ， 需 要 测量 吃 这 
种 饮食 长 大 的 小 孩 的 IJQ , 并 与 吃 当地 食物 长 大 的 小 孩 IQ 进行 对 比 , 通常 数据 是 个 吃 实验 食 
物 的 小 孩 IQ 的 样本 均值 及 (Nt)。 如 果 我 们 将 真实 但 未 知 的 均值 表示 为 几 , 检验 形式 为 : Hi :Ha 
=110 对 琴 : pio =100, 有 几 个 等 效 的 检验 , 例如 , Hi: j=Q 对 Hy: jz#4, 及 Hi: a <h<b 对 
可: J.<a, >b。 我 们 对 于 方差 为 o 的 正 态 分 布 人 群 采用 基本 检验 Hi: j=b 对 Hi: j=a(b 
>a)，, 假定 随机 样本 数 为 n, 即 有 nl 个 独立 同 分 布 随机 变量 ，…, XX,, 则 若 顾 | 为 真 , 及,: 
N(b, o)， 若 古 为 真 , 有 Xi:N(a, 0)， RS 





A= 守 - (7.2.3) 


化 简 后 取 对 数 ， 常 量 合并 可 得 检验 为 
若 几 (n) > cn，Hi 为 真 ,(H2 为 假 ) 
若 几 (n) < cn，H2 为 真 , (五 ;为 假 ) 


常量 cv 由 aw 确定 ,， 若 aw=0.025， 即 有 
= 书 [ 万 ?为 真 | 妃 ; 为 真 ] = 0.025 


bb EA | Ba |) 和 


人 1/(2m) exp (-1/2y° ) dy = pals 2 = FSN(2z0.025) 








其 中 G'A(c, -D)V7M[or。 从 标准 正 态 累积 密度 函数 表 中 ,可 得 20025 = -1.96， 可 求 得 cv =b - 
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(1.96o/Vn)， 注意 到 本 例 与 例 7.2-1 的 相似 之 处 。 检 验 的 势 为 
P= 1 一 PP[ 接 受 本 |H2 为 真 ] 


Oo 2 
王 1 一 (2mc2/m)-L2 ed [=05 [|e 之 
-er 人 (os 信介 








Psv( 生 2 0 同 
of/Vn 
读者 应 认识 到 , 检验 的 势 就 是 及, 为 真 时 判决 甩 ; 为 真 的 概率 。 回 到 引起 讨论 的 IQ 问题 ,可 知 
对 于 aw =0.025, b=110, ga=100, go =10 和 n=25, 判决 本 的 区 域 为 c, =106.1 的 右 侧 区 域 ， 
换 句 话说 ， 当 事件 |106.1 < 风 (7) <% | 发 生 , 说 明 一 份 好 的 食物 可 以 克服 营养 不 良 儿 童 的 IJQ 
下 降 , 检验 的 势 为 0.999。 


纽曼 -皮尔 逊 定 理 ”假定 做 一 个 简单 假设 与 简单 备 选 检验 , 给 定 a 情况 下 使 B 最 小 , 即 
最 大 化 势 已 =1 -B, 称 为 最 大 势 检 验 。 如 何 实现 检验 ? 纽曼 -皮尔 逊 定理 (此 处 无 证 明 ) 给 出 
了 回答 。 


定理 7.2-1 用 尽 , 表示 判决 域 的 点 集 (例如 , 判决 本 为 假 的 区 域 ), 检验 的 显著 性 表示 为 

a, 即 P[ 接受 琴 | 本 为 真 ]<a, 则 对 于 确定 忆 , 的 固定 值 k， 若 满足 下 式 , R, 最 大 化 检验 的 热 

PAl1-B 

A 站 二 于 人) 
f(X1,62):*: f(Xn;l2) 


讨论 纽曼 -皮尔 还 理论 (NPT) 在 显著 性 a 约束 情况 下 的 似 然 比 检验 为 最 大 势 检 验 ， 可 以 
理解 为 最 佳 检 验 。 定 理 没有 明确 给 出 R, k 和 a 的 关系 , 但 在 求解 问题 时 是 很 清晰 的 。 

例 7.2-3 (可 得 到 大 鸡蛋 的 鸡 饲 料 ) 一 个 鸡 饲 料 生产 商 声 明 , 给 鸡 喂 食 一 个 新 产品 " 鸡 生 
长 ”， 可 得 到 比 喂 食 普通 饲料 更 大 的 鸡蛋 。 喂 食 普 通 饲料 的 每 个 鸡蛋 平均 质量 为 60 g， 标准 差 
为 4g, 25 只 鸡 通过 喂食 “ 鸡 生 长 "得 到 平均 质量 为 62 g 的 鸡蛋 ,标准 差 为 4 g。 假 定 Hl: = 
Hi =62 且 备 选 为 吾 :内 = 人 Ni =60, 检验 显著 性 水 平 为 0.05, 根据 NPT, 检验 为 


(or16) “ep (- [2] ) 


人 





<k (7.2-5) 


过 启 


> 
| 





es em 


rg en (Eee) 


判决 域 忆 , 可 得 最 大 势 检验 , 则 A =exp| 你 +(60)” - (62) ) ,， 取 对 数 、 常 量 合并 、 化 简 可 得 检 


验 为 
若 挛 < cn， 理 1 为 假 ，HH2 为 真 
若 户 > cn，HHi 为 真 ，Ho 为 假 


其 中 Cn 为 未 知 常量 。 为 获得 Cn 及 判决 域 RR,， 求解 


_ 1 1/z—-62)\\, 
005= | lj? ( (8 ) ) 


可 得 c, =60.7, RR, =(0, 60.7)。 因 此 , 若 太 <60.7, 本 为 假 , 本 ,为 真 , 检验 为 最 大 势 且 P~0. 81 
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7.3 复合 假设 


前 面 的 章节 中 我 们 提 到 有 这 样 的 检验 形式 五. :a <j <b 对 囊 :p<a, >b 及 其 他 一 些 形 
式 。 这 些 检验 有 一 个 共同 点 , 五 或 于 之 一 或 两 者 事件 对 应 的 样本 空间 有 多 个 结果 ,而 在 简单 
假设 和 简单 备 选 情形 中 , 样本 空间 只 有 Zi 和 zs 两 个 点 。 在 复合 假设 情形 中 , 检验 

A F(X LY FOX 
A 和 人 Wt 

是 没有 意义 的 , 因为 存在 多 个 7 而 不 仅仅 是 ft 和 bs。。 为 理解 本 节 内 容 , 读者 需要 回想 参数 估 
计 的 最 大 似 然 方法 中 , 其 思路 是 使 得 观测 结果 最 可 能 得 到 , 从 而 在 似 然 函 数 艺 (9) 中 计算 得 到 
参数 9, 通常 也 可 通过 微分 求解 但 并 不 一 定 。 到 目前 为 止 讨论 的 问题 中 , 还 不 需要 通过 最 大 化 
似 然 函 数 来 求解 9, 因为 6 仅仅 是 各 和 名 中 的 一 个 。 假 定 感 兴趣 的 参数 是 均值 , 也 就 是 9 = 内， 
则 在 下 述 问题 如 五 ;j= 对 瑟 : 了 关 Lo， 最 大 化 与 HH 相关 的 似 然 函 数 需 要 在 参量 空间 
(-o ,% ) 搜 索 最 佳 值 人 4, 也 就 是 说 , 尽管 假设 是 简单 的 , 但 备 选 不 是 简单 的 , 称 为 复合 假设 。 

幸运 的 是 , 不 是 所 有 复合 假设 问题 都 需要 进行 搜索 , 我 们 依然 可 以 采用 纽曼 -皮尔 人 进 准则 
及 其 优良 的 最 大 势 性 质 , 通过 下 例 说 明 。 

例 7.3-1 ( 吾 :1 = 对 备 选 有 H,:1 < 的 假设 检验 ) 假 定 一 均值 为 内 方 差 为 of 的 正 态 
集 ， 第 一 眼看 来 似乎 柬 汉 < 的 似 然 函 数 需要 进行 搜索 ,然而 ,可 以 将 瑟 做 一 轻微 调整 从 而 
得 到 简单 假设 对 简单 备 选 形 式 。 即 修正 问题 为 Hl: 凡 = 三 Ha 对 也: 人 内 三 Hz < 人 1l， 其 中 KH2 为 任意 
数 ， 则 





A = exp (- 志 (Sno -my)) <k (7.3-2) 


i=1 i=1 
为 本 判决 域 的 似 然 比 检验 。 化 简 、 取 对 数 并 常数 合并 后 可 得 检验 : 若 让 <cu， 于 为 假 。 为 计算 
常量 C,，, 根据 前 述 方法 ， 即 第 一 类 错误 准则 ， 也 就 是 检验 的 显著 性 水 平 求解 ， 因 此, 若 a = 
0. 01 ， 概 举 密度 函数 f; (2; AM) =NCA， om) ,求解 


0.01 = Vn | exp 08 和 全 ) dz 

| V2m J_oo ~ \o/vn | 
可 得 c, = -2.32o/VNn。 这 样 , 若 岂 <j -2.32o/Vn， Hi 为 假 。 注 意 到 我 们 没有 计算 12 的 
真实 值 。 


广义 似 然 比 检验 ( GLRT) 


广义 似 然 比 检验 在 求解 复合 假设 问题 中 很 有 用 。 首 先 , 一 些 似 然 函 数 有 一 个 参量 , 一 些 似 
然 函数 有 两 个 参量 ,等 等 , 例如, n 个 独立 同 分布 指 数 随机 变量 的 似 然 函 数 为 L(A) = 


A"exp( -入 吏 入)u(X) 0, 它 是 参量 9=A 的 函数 ,而 n 个 独立 同 分 布 正 态 随 机 变量 的 似 然 
函数 为 











”也 数 4(x) 为 单位 阶 跃 : u(x) =1, X=0, 其 他 处 为 零 。 
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它 是 两 个 参量 9= (1, o) 的 函数 。 二 维 (多 维 ) 正 态 的 似 然 函 数 是 5 个 参量 的 函数 , 即 ,jw， 
ol，os, pa。 我 们 用 符号 二 (8) 表示 参量 为 8= (9,，0,，…, 90,) 的 似 然 函 数 。 考 虑 下 述 问 题 : 
今 9 表示 全 局 左 维 参量 空间 , 例如 单 变量 正 态 分 布 即 为 BO=(-o <un<%w,0<o<m), 今 
0, 表示 假设 瓦 的 参量 空间 ( @ 的 子 空间 ) , 例如 , 若 X:N(uxr, os), 假设 为 已 : 3 <px <4, 则 
9, =(3 <jx <4, 0 <ox <%)。 定 义 检验 五 :0¢ @, 及 备 选 有 H: 9¢ 0 的 检验 统计 量 4 为 
A Lim(0”) 
Lom (0') 
其 中 Zar(9 ) 人 maxoce 工 (9) ,Lom(0') Amaxo.eL(9)。 我 们 可 能 会 问 , 为 什么 式 (7.3-3a) 给 
出 的 4 是 判决 五 .是否 为 真 合理 的 检验 统计 量 。 首 先 , 分 子 的 最 大 化 可 得 在 9, 约束 下 基于 观 
测 的 最 大 似 然 参量 估计 ,因为 搜索 是 受 限 于 @, 的 , 参量 子 空间 的 最 大 化 可 能 不 是 全 局 最 大 ， 
我 们 称 之 为 局 部 最 大 。 其 次 , 分 母 的 最 大 化 可 得 基于 观测 的 无 约束 的 最 大 似 然 参 量 估计 , 我 们 
称 之 为 全 局 最 大 。 此 处 下 标 LM 和 GM 分 别 起 到 提醒 读者 “局 部 最 大 ”和 “全 局 最 大 ”作用 。 注 
意 A 是 区 间 [0, 1] 的 随机 变量 (提问 读者 : 为 什么 ?), 车 A 趋 近 于 1, 则 假定 天 /为 真 ， 即 未 知 
参量 在 9, 中 , 也 可 认为 是 整个 空间 的 最 大 似 然 参量 。 另 一 方面 , 若 A 很 小 或 趋 近 于 0, 则 假 
定 最 大 似 然 参量 不 在 9, 中。 门限 值 c 表示 我 们 接受 (拒绝 ) 假 设 或 是 接受 (拒绝 ) 备 选 假设 有 H 
的 分 界 点 , 由 显著 性 水 平 a 确定。 总 之 , 广义 似 然 比 检验 可 以 描述 为 
本 为 假 ，A <c (7.3-3b) 
其 中 A 由 式 (7.3-3a) 给 出 。 可 见 在 一 定 条 件 下 , 广义 似 然 比 检验 是 纽曼 -皮尔 逊 意 义 下 的 近似 最 
佳 , 在 文献 中 也 存在 广义 似 然 比 并 不 总 是 最 佳 的 反例 ”2 ,从 某 种 意义 下 它 应 该 视 为 经 验 性 的 。 
我 们 通过 几 个 包括 连续 分 布 的 例子 来 阐述 广义 似 然 比 检验 的 应 用 。 


例 7.3-2 (因为 正 态 且 g? 已 知 时 盏 :人 = 由 对 村: 央 I1 的 检验 ) 已 知 方差 为 o 正 态 随 
机 变量 的 个 观测 , 似 然 函数 为 


L(4) = (2n0?)-"/? exp (- 





(7.3-3a) 


1 


li5 
[Max 





(2 一 四 ) 
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(7.3-4) 
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UU 
RR 





-ermreeo( -二 ce-mP+o-o 


上 式 从 第 一 行 到 第 二 行 我 们 增加 了 一 些 指数 交叉 项 , 在 合并 时 会 消除 ,其 代数 分 析 留 给 读者 练 
河 忆 由 于 or 给 定 , 空间 日 为 (-% < 内 <o),， 则 Loup) 由 = 从 时 得 到 ， 即 Loy (1 ) = 
L(p) 》 由 于 O， 仅 有 满足 Ziw(A ) = 工 (Ai ) 的 一 个 点 ， 根据 式 (7.3-3a) » 有 
L // 6 
A= -p(B m)) (7.3.5) 
判决 域 与 所 、 jw 远离 程度 相关 。 当 及 接近 jw 时 , A 将 趋 近 1 并 判定 用 为 真 ， 当 几 和 远离 时 , 将 判 
定 配 为 假 , 介 于 两 者 之 间 0 <4 <c 的 常量 c 用 来 区 分 判决 域 。 取 自然 对 数 后 , 可 得 判决 域 定义 为 
hi> J 十 (2c? In(l/e/m2 
h < 如 一 (2c? In(1/c)/n) 2 
其 中 c 由 检验 的 显著 性 水 平 a 确定 。 


(7.3-6) 
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例 7.3-3 ( 例 7.3-2 的 数值 实现 ) 根 据 已 知 的 数值 估计 式 (7.3-6) ,假定 ju =5，a2 =4， 
n=15 及 a=0.05, 用 f(x; Hi ) 表 示人 的 概率 密度 函数 ， 我 们 需要 计算 0.05 = [Ju(z)dxz。 由 
事件 |A<c| 等 效 于 | -wm <ln4 <lnc| ,又 可 等 效 于 | -2Ince< -2In4 < | ,根据 式 (7.3.5)， 有 


2 


-2I4 = [7 诬 ] ， 为 1 自由 度 的 分 布 ， 即 痊 ( 下 标 表示 自由 度 ) 。 用 所 (z; n) 表示 交 的 概 
率 密 度 函 数 ， 可 得 
0.05 = | fa(z)dzr = | fxi(z;1)dz =1— Fa(—2lnc;1) 
0 —2logc 


从 如 分 布 随机 变量 的 累积 密度 函数 表 中 可 得 -2Inc =3. 84。 因 此 根据 式 (7.3-6) 可 确定 判决 域 
为 几 >6.01, 几 <3.99, 或 表示 为 内 ( -% ,3.99)U(6.01,， oo )。 


例 7.34 (电话 机 排队 时 等 待 时 间 的 测试 ) 打 电 话 到 投资 银行 (GIB) ， 自 动 ( 机 器 ) 接线 员 
说 明 在 工作 时 间接 入 到 投资 顾问 的 平均 等 待 时 间 不 超过 30 s。 我 们 将 用 广义 似 然 比 检验 来 测试 
在 工作 时 间 打 入 n 次 电话 并 记录 下 等 待 时 间 怀 ;, i =1, …, nn, 假定 等 待 时 间 为 独立 同 分 布 的 指数 随 
机 变量 , 其 概率 密度 函数 为 fx (YX; 1) =(1/1)exp( -xX/1)u(X)，, 其 中 儿 =E(X;), i=1,…, no。 从 


基本 概率 知识 我 们 知道 让 = (1/n) 六 XX 是 的 无 偏 一 至 估计。 检验 假设 到: <0.5 对 于: 
> 号 要 类 享 妆 为 BUD 二 (Lp) exp (-2 [a x (ieyerp(_ih/ij 攻 测 称 热 世 
数 对 凡 微分 得 到 Low (i ) 为 


Lom (ui) = L(h) = fi "exp(—n) 
计算 Liw (1” ) 会 更 复杂 一 些 。 为 更 好 往 下 说 明 , 我 们 将 两 个 似 然 函数 绘制 于 图 7.3-1 中 , 一 个 在 
均值 0.45 处 有 峰值 ， 另 一 个 在 均值 0.55 处 有 峰值 , j 的 空间 @ = (0, 0.5] 是 基于 人 和 0.5 的 假 
设 并 包括 全 局 最 大 点 0.45。 然 而 , 当 似 然 函 数 为 图 7.3-1 中 下 面 的 曲线 时 ， 即 峰值 位 于 从 =0.55 
的 曲线 ， 由 于 0.55 不 包括 在 9 =(0, 0.5], 局 部 最 大 不 等 于 全 局 最 大 。 
不 同 均值 的 似 然 函数 


KH=0.5 
(91 中 的 最 大 值 ) 





AL 


0 0.2 04 0.6 0.8 1 1 1.4 

图 7.3-1 上 面 的 曲线 为 均值 为 0.45, n=10 时 的 似 然 函数 , 下 面 的 曲线 为 均 
值 为 0.55 ,n=10 时 的 似 然 函数 , 子 空间 B, = (0,0.5] 包 括 0. 45 
(显示 为 实 线 左边 的 虚线 ) ,但 不 包括 0. 55( 实 线 右边 的 虚线 ) 
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因此 
+1, [ fh"exp(—n),fh <0.5 
Lm (kp )= 人 exp(—2n]),h > 0.5 
空间 9, =(0, 0.5] 包 括 0.45( 显 示 为 实 线 左 边 的 虚线 ), 但 不 包括 0.55( 实 线 右 边 的 
虚线 )。 
最 后 , 根据 式 (7.3-3a), 我 们 有 
Lim (4) 
AE 2M 
Lom (41) 


1, fi<0.5 WE 


世 (em exp (—n[2f. —1]), fe > 0.5 
判决 域 为 间隔 (0, c'), 即 Ae(0,c') 将 判决 吾 为 假 。 判 决 域 由 图 7.3-2 绘 出 , 从 A 轴 看 其 小 
于 水 平 线 c', 从 凡 轴 看 为 凡 =C 的 右边 。 
因为 似 然 函数 在 区 域 几 >0.5 随 凡 单调 递减 (参见 图 7.3-2)， 可 以 采用 凡 为 检验 统计 量 。 
假定 多 足够 大 ， 以 至 于 风 近 似 正 态 ， 即 概率 密度 函数 是 以 均值 为 中 心 且 方 差 很 小 , 由 于 凡是 内 
的 无 偏 估计 ， 有 让 : N( 凡 , Ma ) ， 这 个 结果 应 用 到 单一 指数 随机 变量 的 方差 为 必 , 因此 让 的 方 
差 为 3 =J/N。 我 们 由 ZA (凡凡 ) Vn 得 到 近似 标准 正 态 随机 变量 , C 由 显著 性 约束 a 计算 
得 出 。 采 用 百分数 表示 1 -a =Fsy(21_。), 可 得 C= 人 +2i_sM/VNn， 可 见 判 决 点 Cc 随 线性 增 
加 。 当 内 >c 时 拒绝 假设 ， 例 如 当 凡 =0.5, a =0.05 及 n=10 时 可 得 zw =1.64 及 c 二 0.76， 
当 a 增加 ， 分 割 点 向 0.5 处 下 降 (参见 图 7.3-3)。 
& 分 割 点 随 显著 性 水 平 变化 
1 


1 0.8 [ee 
0.6 
0.4 


S 0.2 
~ 0 r rr r 1 
0 0 0.1 0.2 0.3 0.4 


A 似 然 比 检验 





0.5 c A 显著 性 水 平 
图 7.3-2 广义 似 然 比 检验 统计 量 图 7.3-3 当 a 增加 ,分割 点 随 之 下 
与 样本 均值 估计 的 变化 降 ,增加 了 判决 域 的 宽度 


例 7.3-5 (评估 药物 赫 塞 汀 的 肿瘤 治疗 效果 ) 对 肿瘤 治疗 的 新 疗法 包括 使 对 肿瘤 细胞 提 
供 能 量 的 蛋白 质 无 效 。 例 如 ,一 些 乳腺 癌 细 胞 含有 蛋白质 HER2 ,药物 赫 塞 汀 可 以 降低 癌 细 胞 
50% 活跃 度 ,， 达到 治疗 效果 了 , 而 没有 HER2 的 肿瘤 其 后 果 要 乐观 得 多 。 幸 塞 汀 有 很 大 的 毒 副 
作用 ,因此 对 蛋白 质 HER2 的 检验 必须 很 精确 ,尽管 常 常 没有 做 到 。 令 已 : 肿瘤 有 高 含量 的 
HER2 ， 对 赫 塞 洒 有 反应 。 令 西 : 肿瘤 有 低 含 量 (或 没有 ) 的 HER2, 病人 不 需要 赫 塞 汀 。 当 前 
对 HER2 的 测试 为 

已 [ 豆 为 真 | 丽 为 真 ] =0.2 
已 [ 玖 为 真 | 豆 为 真 ] =0.1 
因而 , 检验 的 显著 性 水 平 为 0.1, 检测 的 势 为 0.8。 





D “癌症 战争 : 新 药 的 不 确定 性 测试 ”, 纽约 时 报 , 8 月 20 日 , 2010 年 。 
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如 何 检验 两 个 集合 的 均值 相等 


假定 对 一 类 治疗 前 列 腺 癌 药 物 进 行 测试 了 , 测试 者 为 重度 无 雄性 荷尔蒙 的 前 列 腺 癌 患 者 ， 
与 常规 治疗 相 比 , 这 种 药物 能 不 能 延长 参与 测试 者 的 生命 呢 ? 一 个 印刷 公司 评估 其 印刷 机 应 
用 的 两 种 纸 , 是 否 一 种 会 比 另 一 种 纸 更 容易 使 印刷 机 卡 住 呢 ? 运输 部 门 考虑 购买 两 类 水 泥 , 是 
和 否 其 中 一 类 更 不 容易 产生 凹 坑 呢 ? 这 类 问题 都 符合 下 述 架 构 , 即 我 们 有 两 类 正 态 分 布 集合 , 从 集 
合 己 中 取 径 个 样本 , 从 集合 己 中 取 即 个 样本 , 集合 已 与 集合 己 的 均值 是 否 相 同 ” 通常 , 这 是 一 
个 困难 的 问题 , 特别 是 这 超越 了 本 章 探讨 的 范围 。 更 多 关于 此 问题 的 讨论 参见 参考 文献 [7 -1] 。 
然而 ， 当 假定 集合 的 方差 相同 时 , 这 个 问题 可 以 直接 解析 得 到 。 为 对 此 问题 的 讨论 , 先 通过 
例 7.3-6 复习 一 下 相关 内 容 。 

例 7.3-6 ( 例 7.3-7 的 初步 结论 ) 两 个 正 态 集合 为 Si = |X;, i=1,…, m| 和 Ss = |X, i%=1， 
…,N| ,Si 中 元 素 为 m 个 满足 天 :NG ,01) 的 忆 的 独立 同 分 布 观测 , 同样 ,Ss 中 元 素 为 nn 个 
满足 向: NO ,ao2) 的 号 的 独立 同 分 布 观测 。 另 外 , 假定 对 于 任意 i%，7, 满足 BE[ (Xi; -pj)。 
(X, -Ha ) ] =0。 

(i) 假定 jw =Ha = 从 ， 证明 El —p] =0。 

(i 的 解答 : B[p -po] =EBlp] -Elps] =p -p=0 

(站 ) 假 定 jw =pz = 几 且 ol =as =O, 证 明 Var=(f -fr)=(m +n 7 )o。 

(i 的 解答 : 由 于 E[p] = 至 [加 ] =A，Var(A -应 ) =E[ (Wp -pa) ] =Elp] +E[lpa] - 
2E[Ljypa]。 将 


和 mm mm 
Elhi]=m-? |) E(XE)+ > soooc)] 
| i=1 j#1i 


Elj2] = n-? (2 E(X2,)+ > Cas) ) 
i i=1 j#1 
E(XE) = + 
i E(jufis)= 4 
代入 方差 表达 式 可 得 所 需 结 论 。 
( 道 ) 若 VV 和 到 分 别 为 自由 度 为 m 和 的 卡 方 分 布 , 则 UAV+W 为 自由 度 为 m+n 的 卡 


(ii) 的 解答 : 若 V: xx 及 厂 : 如 , 则 有 V = 避 ” 下 和 WW= 忆 ， 用 ,其 中 我 们 可 以 假定 
全 工 sm, Mm 为 满足 N(0, 1) 的 独立 同 分 布 变量 ， 2,, t=1, …, nn 为 满足 N(0, 1) 的 独立 
同 分 布 变量 , V 的 MGF 为 M(t) =E[exp(tV)], 由 下 式 计算 

Mv(t) = | | exp(t D> yo)x exp(-1/25 > TT, ay 
= (27)- /2 exp (一 0.5(1 — 2t)y?) dy; 
= (1 — 2t)-"™/2, < 1/2 
第 一 行 是 定义 ,第 二 行 应 用 了 了 的 独立 同 分 布 假定 , 第 三 行 是 依据 正 态 曲 线 下 积分 面积 为 1 





@D 无 雄性 荷尔蒙 意味 着 瘤 细 胞 不 是 由 睾丸 素 提供 能 量 , 这 很 难 治疗 。 作 者 的 同事 , Nick Galatsanos 教授 , 对 图 像 处 理 做 出 
重要 贡献 , 于 52 岁 时 死 于 此 疾病 。 
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得 到 的 。 由 于 D=V+ 了 本 及 又 和 了 厂 是 相互 独立 的 ,从 而 由 4 4 节 内 容 有 Mu(ti) =My(t)my(t)。 
由 M(t) =(1-2b 及 Mw(t) =(1-21) 人 2， 可 得 Mo 人 (ti =(1-26 7， 即 说 明 
0 

(iv) 给 定 似 然 函 数 卫 = (270*) exp[ -0.55," ((X, -人 )*/o?)] , 证明 Lv = LOOD， 
G1) 其 中 让 = 外 及 0 二 

(iv) 的 解答 : 上 可 通过 将 InL 对 微分 得 到 ,为 凡 = 及 A(m) "了 ?Xi, 同样 ,G1 可 通过 
将 InL 对 a 微分 得 到 , 为 G3 = 人 AMm 1 了 ”i(X, 一 凡 )*, 代入 工 的 表达 式 计算 Low 得 到 

p m/2 

例 7.3-7 ( 隔 : jw =p 对 本 :ji 关 LMo,01=02=0 未 知 时 的 检验 ) 如 同 例 7.3-6 中 , 我们 
有 两 个 正 态 样 本 集合 Si = |;, $=1,…,m| 和 Ss = |Xzi, Y=1,…, Nn| ,S, 中 元 素 为 m 个 满 
足 人 XX: N(p, ol) 的 马 的 独立 同 分 布 观测 ， 同样 ，S, 中 元 素 为 nn 个 满足 X。: N(j， 0 ) 的 了 ， 
的 独立 同 分 布 观测 。 另 外 ,假定 对 任意 和 和 7,， 有 EB[ (Xi -1)(Xoj -12)] =0。 我们 要 检验 
Hi:n 二 /2 对 FH,: pu #12， H, 的 参数 空间 ?为 OO =(g, oo), 全 局 参数 空间 为 @=( ww, oy}, 
似 然 呈 数 为 


(m+n)/2 2 2 
a 1 1 m Xi 一 HA 1 n X2i — M2 
WO (zs) SR (3 Sd ( o a al 


根据 例 7.3-6 中 (iv) 的 结论 ， 可 得 
计生 mm 于 人 | 2 和 斌 而 
项 所 三 1 Di X2i = hz 
6 = = (D1 (Xsi — ba) + Ti (Xai — fa)?) = 6 


我 们 将 此 结果 分 别 代 入 工 中 的 jw, Ws 及 oa 中 ,可 得 


Be ( m+n et a (- (772 十 呈 ) 
27 (91 (Xi — Pa)? + 21 (Xai — ho)?) 2 
(7.3-10) 
回 到 式 (7.3-9) 的 似 然 函数 , 我 们 希望 在 参数 空间 @, 最 大 化 此 式 , 由 于 于 中 有 jw =M =1, 工 写 为 


(m+n)/2 2 2 
1 1 Am /Xi—k ln /X2i—H 
L(1,0) = (zis) exp (3 和 (2 xexp -3 a 


(7.3-11) 








分 别 对 人 和 or 微分 得 到 凡 " 和 “为 


a vr 
7 


770 十 7 
mm 





王府 寺 一 一 一 一 
mm 十 mt mm 十 nt2 





@ 为 避免 使 用 过 多 的 记号 且 不 会 引起 混淆 时 , 我 们 用 @ = ij , pw, ol , oz | 等 方式 来 表示 参量 空间 @ = | -wm <j <%， 
-oo <jw <%m, ol >0,0o，>0|, 表达 式 L(B) 可 以 解释 为 在 参数 空间 @ 的 似 然 函数 。 
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;2* 2 mm /2 
”′ Tmin be 1 (Xn — hi) -2 (X2; 一 re hz) ) 
将 及 "和 "代入 式 (7.3-11) 的 L(GO@) 中 的 jw 和 ao ,可 得 Liw 为 


(m+n)/2 
(m+n)e-! 
Li™ mm 人 ~ nn 人 ~ A r 
2Tr (ER (X1i— bi1)? 十 Di1 (Xzi — Po)? 未 人 (hi 一 fi)?) 


似 然 比 AALiw/Lew 为 











mn_(j 一 到 )2 —(m+n)/2 
站 三 | 十 直 训 a : ?7.9-12 
| Dd (KW = hn) rs (Ki:= | ( ) 
从 例 7.3-6 的 (ii) 的 结论 , 后 -jo 的 分 布 满足 N(0, go (m+n)/mm)， 因 此 
A (fu — hs) 
了 0 


满足 N(0, 1) 分布。 同样 地 , 根据 例 7.3-6 中 ( 道 ) 的 结 


A 必 泛 
A m X1i— hi i X2i — hs 
Wntn= = tw (于 ) 十 (半生 


为 自由 度 m+n -2 的 卡 方 分 布 。 最 后 ， 回想 To sn-s =- 人 + 为 自由 度 为 m+n 一 2 
m+n-2 

的 分 布 随 机 变量 , 因此 

—(m+n)/2 


A= |1+ (T2240n_2/(m+n— 人 (7.3-13 ) 





由 于 A 是 7T3,,_s 的 单调 递减 函数 , 根据 7T5,,_s 检 验 比 A 检验 要 好 , 则 奋 的 判决 域 0 <4 <A。， 
当 由 19,，? 检 验 时 变 为 ( 龙 ，o ) (参见 图 7.3-4), 或 等 效 为 事件 (万 ，o ) 和 ( -%，-t) 的 并 集 
(参见 图 7.3-5)。 更 多 关于 称 为 七 检测 的 此 类 检验 可 参见 参考 文献 [7-10] 至 参考 文献 [7-15] , 也 
可 以 在 Google 或 其 他 搜索 引擎 上 输入 “t 检测” 获得 。 





4 2 
te ns n—2 


图 7.3-4 判决 域 用 粗 线条 显示 , 应 用 72,,,, 比 A 更 容易 检验 厂 , 对 束 
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-4 = 0 让 4 


图 7.3-5 ” 相 比 较 于 广义 似 然 比 统计 量 , 了 统计 量 更 适合 检验 , 参见 式 (7.3-13) 。 沿 卫 轴 的 判决 域 显 示 为 粗 线 
条 。 依 据 读 者 的 兴趣 ,此 图 形 中 m =n =10。 若 171 >t, ,假设 为 假 ,其 中 依赖 于 第 一 类 错误 a 在 显著 
性 a 的 双边 检验 中 ,我 们 为 每 边 判 决 域 指定 a/2 错 误 概率 , 即 PLT>t] =a/2 和 P[T<-t] =a/2 
在 第 一 类 错误 a 约束 下 , 若 有 |T” > 斑 _ we ， 则 判决 假设 不 成 立 ， 其 中 三 -so 是 从 守 分 布 表 
中 选取 自由 度 972 + -2 并 根据 Fi(ti_,s) =1 -a/2 获得 。 
例 7.3-8 (检验 殖 :pl =jwz 对 H, :Wi 闫 Jz 的 数值 实例 ) 应 用 高 斯 随机 数 发 生 器 (可 从 互联 
网 获取 ) 生成 15 个 满足 N(0, 2) 的 样本 集合 (已 ) ,15 个 满足 N(2,2) 的 样本 集合 (了 P,) ,得 到 
的 数值 如 下 : 
集合 P: S, =12.21, 0.83, 0. 393, 0.975, 0.195，- 0.069，-1.91, 1.44，-3.98, 0.98， 
-2.84，-1.56，-0.4，-1.08, 0.116|1; fi = -0.258; m =15; 5 ( 一 启 ) 2 = 40.88。 
集合 己 : S, =| -1.28，-0.258，-0.947, 5.85, 1.56, 1.48, 1.95, 3.22, 1.41, 1.84, 
2.69, 3.94, 2.04, 2.08, 1.44| ; p=1.801; n=15; 允 ，,(X%- 成 )” = 45.66。 将 数值 代入 
mn(m+n)- (hi — joa)? 
Di (KR hh ) + 2 (XH — ha} 
得 到 7 的 值 为 10.34。 最 后 , 根据 a =P( 厂 为 假 | 盏 为 真 ) =0.01, 可 得 Fi(ti_ws) =1- 
0. 005 =0.995， 自 由 度 为 15 +15 -2 =28。 根 据 t 分布 表 可 得 妇 ws =2.763, 即 凡 ws =7.63， 
由 于 T? > 如 _s， 我 们 判定 均值 相等 的 假设 不 成 立 。 


正 态 集合 方差 相等 的 检验 : 下 检验 


我 们 遇 到 的 另 一 个 问题 是 : 两 个 正 态 集合 是 否 有 相同 的 方差 。 模 型 如 下 : 有 两 个 正 态 集合 
已 , NO ot) 和 P;, Ne 02), 并 从 已 中 得 到 和 个 样本 S = 1 =1,…, mj}( 即 m 个 
独立 同 分 布 观测 ), 从 P 中 得 到 个 样本 S。 = |X;, i =1,…,n|。 基 于 样本 我 们 希望 检验 假设 
到: 0? =02A40? 对 备 选 三 : 01 了 02, 有 H 检 验 的 参数 空间 为 9, = ji, po, 0 | ,及 检 验 的 参数 
空间 为 9 = jj, jz, 01, 02|, 似 然 函 数 为 


b < m Xii—h < 
pe 2 一 /2 c= td 
L(O)= (27n01) ™ | 0.5 > 人 ( , ) ) 


—n/2 f 从 2 一 人 
x (2mo2)-?"/2 exp 一 0.5 > (和 ) 
= 2 
在 9, = im，, pe， of | 中 形式 为 


2 全 (m+n—2) 





(7.3-14) 
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L(O1) = (27n0°) (T+"/2) exp (- 二 [2 s (CT 一 名) 十 (X2i 一 人) 
在 9, 使 得 L(B) 最 大 的 参数 ,和 前 述 一 样 , 通过 InL( O91) 对 jp, 1s，o 的 微分 并 令 其 等 于 零 
得 到 
而 = (m) 全 = DD =]1; 2 到 (nm) Da X21 =h2 
G2* (m+ n) (Se 1 (Xi1i 一 fun)? 直 Di (X2i 一 fi2)”) 


将 此 结果 代入 工 (@; ) 可 得 
on —(m+n)/2 
< (去 十 77) pe 1 (Cs 一 由) 二 Rs 1 -hb 中) Ry 


在 =|j, ka,01, 02| 对 L(O) 最 大 化 , 通过 logL( 昌 ) 对 jn, ps, o01, 02 的 微分 并 令 其 等 于 零 
得 到 

丰 = = (m) 了 Xu = by; 成 = = (n) pe X2i = fs 

621 一 = (mm) 小 (Xi — hi1) = 09 mz: oi = (7) 人 (Xzi — ji)? = G3.ML 
注意 到 方差 mi ,er 的 最 大 似 然 估计 cl ww，03, wr 是 无 偏 估 计 , 将 结果 代入 (8), 得 到 Lew 为 


1 em A —n/2 
DGM = (2mn) ("t+")/2 (二 (X1i— jn) ) (2 :a (X2i 一 joa)’) 
x exp (—(m + n)/2) 
最 后 , 由 A =Liw/Lew 可 得 





( m+n ) 
NE 


m/2 B n/2 
mm nn 
(sr (2X1i = | 全 (X2i 一 ER 


这 个 复杂 的 表达 式 可 以 通过 下 述 结论 进行 简化 
(m 一 1)67 一 Ss (X1i— pu)? 
(n— 1)63 = 5 (Xz; — fia)? 





(7.3-15) 








经 过 代数 变换 ,可 得 





(Im 1)/(n— 1)] x 4 
(1 +[(m—1)/(n—1)] x 0 


其 中 A(m, n) (Ca + mn-”。 我 们 将 Ve 461/03 自然 地 称 为 (估计 ) 方 差 比 ， 
其 中 





A= A(m,n) 





总 交 各 三 DD (Xi — Ph) 
(nC— 1 D1 (Xi — ho)? 





(7.3-16) 


则 用 Vs 表示 有 
([(m —1)/(n— 1)] x Va)™? 


A 
Gt Dm x Va) a A) (7.3-17) 
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当 瑟 为 真有 = 开 Rn i， 其 中 媚 :为 自由 度 分 别 为 妈 -1 和 即 -1 的 环 分 布 随机 变 
量 。 当 m=n=10 时 A 与 Vi 的 变化 显示 在 图 7.3-6 中 , 从 图 可 见 , 判决 假设 不 成 立 的 事件 
10 <A(Vs) <c| 等 价 于 两 个 拖 尾 事件 10 < Vs <ti| U |t <Ve <% |。 当 给 定 显著 性 水 平 a, 根 
据 PL0 <Ve <ti] +PLt <Ve<%]=a 及 A(t,) =A(t,) 可 得 到 妇 和 刀 。 在 不 损失 太 多 精度 情况 
下 简化 分 析 , 选择 P[0 <Va < 要 =P[<Ve<%]=a/2, 妇 和 刀 的 数值 比 t, 和 太 容易 确定 , 参 
见 图 7.3-7。 实 际 上 , 用 Fp(%p; m -1; mn 一 1) 来 表示 随机 变量 ,1 ,i 在 B 百分点 处 的 累积 
密度 函数 , 即 Fi(%s; m -1; n -1) AB, 可 以 得 到 4=wwys 和 = was 


A A 对 VR 





0 1 2 3 4 5 0G- 
VR 


7.3-6 A 时 检验 统计 量 Vi 与 方差 比 mw=n=10 
当 检 验 为 10 <A <c} , 或 等 效 于 10 < Vs <Yws| 或 zi_wz <Va| 时 , 假设 五 不 成 立 。 





图 7.3-7 事件 10 <A <c| 等 效 于 事件 {0 < 有 <ti Uit,<Vr<%|， 
数值 友和 所 由 万 和 红 取 代 , 使 得 两 边 的 错误 均 为 /2 
例 7.3-9 (检验 五 :0o?=o:Ao? 对 万 ;: 01 关 0 的 数值 实例 ) 检 验 两 个 集合 的 方差 相同 
的 假设 。 
应 用 互联 网 上 的 RANDOM. ORG 程序 生成 两 组 高 斯 伪 随 机 数 如 下 : 


N(0,1): ‘0436, =1.06, =1.11; 0.46, 0.491， 一 1.05， 0.502， 0.598， 1.61 
一 0.981， 一 0.021, 0.253， 一 1.24, ”0.059， 2.12 
N(0,4): 0.634， 0.0818， 一 1.32， 2.96; 3.11, 3.13, 2.62， 一 1.96， 0.85 
一 6.51， 一 3.39, 4.25， 一 1.08， 3.42， 2.72 


从 前 两 行 , 即 (N(0, 1) ) 数 据 , 计算 得 到 所 =0.074, 9 =1.01, G1 =1.01; 从 下 面 两 行 ， 
即 (N(0, 4) ) 数 据 , 可 计算 得 到 如 =0.54, 6G。=3.04, 2 =9.25, 计算 得 到 的 方差 比 为 
(15 一 1) 并 这 (Xu 一 0.54)2 9.25 


一 = 9.06 
(15 一 1) 5 (Xz; 一 0.074)2 1.02 





RK 三 
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约束 显著 性 水 平 a =0.05, 应 用 “等 区 域 ” 系 统 来 分 配 错 误 概率 , 我们 计算 满足 Fi (wo 02s; 14; 
14) =0.025 和 Fp(wo 67s; 14; 14) =0.975 的 百分点 V0 025 及 Wo 9ms。 等 效 于 应 用 羽 分 布 表 , 我们 
调用 Stat Trek 在 线 统计 表 中 下 分 布 计算 器 , 输入 自由 度 (两 种 情况 均 为 14) 及 累积 密度 函数 
值 0.025, 得 到 Zoo5 =0.34, 重复 并 输入 累积 密度 函数 值 0.975 得 到 Zo 9rs =2.98， 因 此, 接受 
区 域 为 间隔 (事件 )(0.34, 2.98),， 拒绝 区 域 为 事件 |(0, 0.34) U(2.98，ee )|。 检 验 统 计量 为 
9. 06 落 在 拒绝 区 域 ,因此 两 个 方差 相同 的 假设 不 成 立 , 我 们 可 以 相当 肯定 数据 来 自 两 个 不 同 
集合 的 结论 。 

更 多 称 为 检验 内 容 可 以 从 参考 文献 [7-5 ] 至 参考 文献 [7-9 |] 获得, 也 可 用 Google 在 线 输 
人 “五 检验 ”搜索 得 到 。 


正 态 集合 是 否 预 设 方差 值 的 检验 


在 此 我 们 考虑 一 个 正 态 集合 并 检验 其 是 否 预 设 了 方差 值 。 ed ee 
m 个 样本 , 即 从 邓 中 取得 m 个 独立 同 分布 观 测 并 记 为 |X;, i=1,…， 于 假定 集合 的 方 
差 预 设 为 ro， 备 选 假设 五 假定 集合 方差 不 等 于 cs, 或 更 精确 地 ， es 五 成立。 
与 前 面 一 样 , 分 析 似 然 函数 并 令 其 在 8, = Ih, oo| 和 8B= inw, o | 最 大 化 , 因而 L(@,) = 


(anob) emp (- 雪 2", (2) )， 即 当 扩 ”= 应 A (m) 于”,X, 时 的 最 大 值 。 有 


2\—m/2 lem /XA 
LiMm = (2mc0) exp | 一 5 











2 
L(0) = (2mrc2)-m/2exp (3 :a (= 二 ] 
是 当 启 = 应 A (m) 了 于" 和 6 = 人 9 = (m)， 殉 ”(X, - 扩 )* 时 的 最 大 值 , 因而 
“2\—m/2 1 m py) 2 
ek ed ( 


广义 似 然 比 为 
A= Lim/Lem 


- (mw (所 2) ) exp (oz (到 2) 上 ma| 


注意 到 WW 会 ((Xi 一 向 /co 大 服从 鸡 ， 分 布 。 因 此 
A= ((m)- WwW) 人 exp (—0.5(W — m)) 


当 DOF =9 时 WW 对 A 的 图 形 绘 于 图 7.3-8 中 。 

从 图 7.3-8 中 我 们 可 以 推断 判决 事件 10 <4 <c| 等 效 于 事件 10 <W<thl Ult<W<%|， 
其 中 A(t) =A(t) 及 ti<ts。 为 了 简化 , 可 以 选择 “等 区 域 ” 准 则 ， 即 < 数值 满足 如 = zw 及 
让 =2 ua， 其 中 Za 和 2 为 o[2 和 1-(o2) 百分点 , 满足 了 (zi m -1) =a/2 和 
Fe sa; mM-1) =1-(a/2), 同 前 ， a =P[ HH 为 假 !| 耳 为 真 ]。 
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人 作对 卡 方 





图 7.3-8 A 的 拒绝 区 域 显示 为 沿 纵 坐 标的 粗 线 , 与 双边 WW 的 拒绝 区 域 相关 ( 显示 为 沿 横 坐 标的 粗 线 ) 


例 7.3-10 (检验 于 :oo =o0 对 琴 : 0 关 01 的 数值 实例 ) 为 达到 检验 目的 , 分别 从 己 和 
已 两 个 正 态 随 机 数 中 抽取 两 组 数据 , P| 集合 为 N(1, 1), PP, 集 合 为 N(1, 4)。 我 们 检验 两 个 集 
合 or =1 的 假设 , 数值 由 互联 网 上 RANDOM. ORG 程序 生成 

N(1,1) [Pi1] —0.0644 2.91 一 0.323 1.21 2.66 0.45 1.26 0.923 1.96 1.62 

N(1,4) [P|] 0.705 0.685 0.718 1.03 2.52 1.96 0.417 2.69 一 1.52 2.98 


从 PP 数据 可 得 W' =10.3, 在 显著 性 水 平 0.05 时 的 拒绝 区 域 为 |0 <W<2.7}U119<W<w%|， 
由 于 琵 在 拒绝 区 域外 , 判定 已 方差 为 1 的 假设 为 真 。 应 用 环 重 复 此 过 程 ， 计 算得 到 W' =16.5， 
依然 在 拒绝 区 域外 ( 刘 强 ) ,我们 依然 (错误 的 ) 判 定 己方 差 为 工 的 假设 为 真 。 在 显著 性 水 平 0.2 
重复 此 过 程 ， 拒绝 区 域 为 10 <Z <4.71 U114.7 <Z<%w|，, 发 现 判 定 忆 方差 为 1 的 假设 依然 为 
真 ,但 判定 已 方差 为 工 的 假设 为 假 。 从 此 例 中 可 得 两 点 结论 : (1) 小 数据 量 可 能 导致 错误 ， 其 
结论 应 以 怀疑 的 眼光 来 看 ; (2) 考虑 到 a 的 含义 ， 我 们 发 现 若 此 参数 选 得 非常 小 ,判决 域 变 
小 ,假设 为 假 的 可 能 性 非常 小 。 


7.4 拟 合 度 


统计 中 很 重要 的 一 个 问题 是 检验 一 个 概率 集合 是 否 有 预 设 的 特定 值 , 例如 , 假定 我 们 希望 
确定 观测 数据 是 否 来 自 标准 正 态 分 布 , 则 函数 正 态 表 Fss 计 算 概率 p; = Fsx (Yi,1) -Fsy (Xi)， 
i=1,…, 4, 将 此 数值 与 随机 变量 瑟 的 多 个 独立 观测 的 数据 比较 。 用 此 方法 可 以 检验 其 他 分 
布 , 不 管 是 离散 还 是 连续 的 。 通 用 模型 是 将 数据 排序 进 ! 个 "容器 ”, 并 将 估计 概率 PD;(i=1， 
…，1) 与 特定 概率 p; 进行 比较 。 若 丈 表示 n 次 试验 结果 并 进入 第 i 个 “容器 ”的 数据 , 则 有 分 
= 了 /rn。 若 所 有 18;| 与 对 应 的 1pi;| 十 分 相近 , 则 集合 的 数据 很 可 能 有 预定 概率 。 然 而 , 若 两 
个 或 更 多 个 已, 与 对 应 p; 相差 较 大 , 则 不 能 得 到 测试 集合 与 假定 的 有 相同 参数 的 结论 。 ” 容 
器 ”数目 1 是 一 离散 随机 变量 且 数 目 有 限 ( 即 样本 空间 的 单元 数目 ) ,其 选择 通常 就 是 结果 的 数 
目 ,， 即 对 掷 仍 子 而 言 ,! 选 择 6, 对 掷 硬 币 ,! 为 2。 对 于 连续 随机 变量 “容器 "转化 为 间隔 (2,， 
Tin1) =1，…, 7， 即 形式 为 1zi < 怀 <2i =1， …， 外 的 ! 项 结果 ,，! 的 选择 需要 更 多 考虑 。 
我 们 需要 一 个 多 “精炼 的 "检验 呢 ?” 一 个 精炼 的 检验 将 有 很 多 容 絮 ,通常 数据 比 容器 数目 大 得 
多 , 获取 如 此 多 的 数据 可 能 花费 较 多 且 不 切实 际 , 然而 , 若 我 们 选择 做 “不 精炼 的 "检验 ， 即 选 
择 很 小 的 容器 数 , 则 检验 必然 是 粗糙 的 。 另 一 方面 , 一 个 非常 大 的 容器 数目 而 没有 足够 数据 将 
导致 错误 百出 , 检验 变 得 毫 无 意义 。 

这 些 考 虑 更 准确 地 说 , 是 实验 设计 和 数据 处 理 需要 考虑 的 ， 而 不 在 本 书 研究 的 范畴 内 。 
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在 拟 合 度 检 验 中 , 假设 五 为 概率 集合 |p;,%=1,…, 让 满足 |p; =po ,=1,，…，, 1 外， 给 定 
概率 | po; ,i=1,…, 中 表示 了 概率 函数 的 特征 ,如 分 布 函 数 、 掷 仍 子 的 输出 概率 ,等 等 , 我 们 
获取 随机 变量 也 的 n 个 独立 同 分 布 观测 并 根据 其 数值 排序 进 i 个 容器 中 。 

定义 随机 变量 X; 为 

Xi 全 I 当 科 的 第 7 次 观察 在 容器 ?时 
0, 其 他 
定义 PLX;j =1] 4pi;, i=1,…, 4, 其 因 独 立 同 分 布 约束 而 独立 于 Jj。 
随机 变量 


Y= 人 > ，， Kiss t= lies 
表示 n 次 试验 中 在 容器 i =1, …, 1 的 值 。 注意 有 室 ,了 ;=n 和 有 台 ，_,p = 1, 读者 可 从 4.8 节 
的 多 项 式 法 则 得 此 结论 ， 即 
P=7ri =ro = = Pr)= 


nl 


D 
Tri!l72!- nip p2 


"0. (a ) 


V (Qnrn) lpip2 :nh 





n>>1 








(7.4-1) 

第 7 次 试验 的 概率 密度 函数 为 P= 了 Pp, 其 中 于 zo = 1 马 ， pi =1, wy 约 束 为 0 或 1。 

n 次 重复 试验 的 似 然 函 数 为 L(p) AL(pi,…, p,) = [7° T1211 [17’ fH: = 

pu,i = 1, …, 4 假设 下 , 似 然 函数 的 局 部 最 大 Lin 为 工 (po) = | A 

JI， 似 然 函数 的 全 局 最 大 , 分 别 为 对 p;, i = 1，…, 1 微分 获得 , 同时 有 对 ，,Di = 1。 根据 

结果 部 = ai = 1… 4， 有 Low = Yr, Vn …，Y/n) = (Yn)*， 最 后, 应 用 
殉 ' ,了 = nn, 可 得 广义 似 然 比 为 - 

A 2 (各 ) (7.4.2) 

判决 域 为 0 < A < A。。 为 在 特定 显著 性 水 平 上 计算 判决 域 , 需要 4 的 分 布 ,然而 , 4 在 五 .假设 

下 对 于 任意 n 值 的 准确 分 布 难 以 得 到 。 在 参考 文献 [7-1] 中 证 明了 在 大 数据 量 假定 下 ， 


-2InA 近似 于 -1。 
我 们 在 此 考虑 另 一 种 方法 。 式 (7.4-1) 可 见 在 大 数据 量 假定 下 , 7;, i =1, …, 1 近似 为 正 态 


到 
随机 变量 N(npi, np,) ,i=1, …, 1, UA J i =1, …, 1 近似 为 标准 正 态 。 检 验 统计 量 
WD: 
i — Npoi 
Vs a5 (ee i ) (7.4-3) 


被 称 为 皮尔 逊 检验 统计 量 , 基于 了 Shui 由 参 


308 概率 、 统 计 与 随机 过 程 (第 四 版 ) 


见 参考 文献 [7-16] 至 参考 文献 [7.20] )。 皮 尔 避 检验 统计 量 形式 为 ! 自由 度 的 X 随机 变量 ,但 
实际 为 1-1 自由 度 , 因为 当 了 了 ，Y，…, Yi 给 定时 , 7 = n - 忆 ，, 蕊 随 之 确定 。 若 闷 来 自 
久光 yh i -1，… ,1 的 集合 , 我 们 期 望 的 实现 是 很 小 的 。 然 而 , 若 习 来 自 于 概率 为 
本 … 1 的 集合 , 其 中 至 少 两 个 和 与 对 应 的 pow 相差 很 大 ， 我 人 期望 的 实现 是 很 大 的 。 
和 压 时 计算 E[V] 来 说 明 , 在 五 时 计算 得 到 [VI 及 ] =1 -1( 参 见习 题 7 24) , 然而 
当 n 取 值 很 大 (参见 习题 7.25), 在 琴 时 ELVIHH,] 为 

EIVIH2] ~ 3 (poi) PDT — poi)” (7.4-4) 
显然 当 有 某 些 pu 与 pu 不 同时 , B[VIH,] 比 1-1 要 大 得 多 。 准 确 的 计算 证 明 B[ VI 本 ] 绝 不 会 
小 于 1! -1。 

回 到 式 (7. 4-3) 的 检验 统计 量 ， 即 


Ca) 


VNPoi 
注意 到 在 瓦 假 设 下 为 :。 为 计算 在 显著 性 a 时 确定 判决 域 |V >c| 的 常量 c, 我 们 计算 
大 (zi1- Dadz = a, 或 等 效 计算 1 -a = Fe(c; 1-1), 可 得 c = zw。, 即 闪 1 的 1-a 百 分 
点 ， 则 判决 为 : 和 瑟 , 为 真 ， 否则 为 假 。 


例 7.4-1 ( 括 硬 币 的 公正 性 ) 我 们 在 显著 性 w =0. 05 时 检验 po, =P[ 正 面 ] =0.5 =pos = 
已 [背面 ] 的 假设 百 ， 投 据 硬 币 100 次 观测 到 61 次 正面 , 39 次 背面 , 则 根据 


0 


VNPoi 








[61 -50]? + [39 -50]” =4.84。 根 据 0.95 = (woos; 1) 计 算 判 


人 T7/ 玫 
可 得 了 PixI00 0. Ee 100 
决 值 可 得 Xo =3.84, 由 于 V' =4.84 >3.84, 我 们 判决 据 硬 币 是 公平 的 假设 为 假 。 
例 7.4-2 ( 捕 鹏 子 的 公正 性 ) 我 们 在 显著 性 w =0. 05 时 检验 六 面 鹏 子 是 公正 的 假设 。 令 
六 ,ii =1,…, 6 表示 第 人 面 的 次 数 ， 投 游 1000 次 观测 到 忒 =152， 了 区 =175， 区 =165, Y=180， 
Ye159, 这 =171, 则 


V'= (167 — 152)? + (167 — 175)? + (167 — 165)? + (167 — 180)? 


1 

167 | 

+(167 — 159)? + (167 — 171)2] = 3.25 

自由 度 为 5, 求解 0.95 = 已 :(zow) 得 到 zow =11.1, 由 于 3.25 <11.1, 我 们 判决 挪 贷 子 是 公正 

的 假设 为 真 。 
例 7.4-3 ( 正 态 性 检验 ) 我 们 希望 确定 数据 是 否 来 自 标准 正 态 N(0, 1) 集 合 。 令 盏 表示 

及 是 标准 正 态 N(0, 1) 分 布 假设 ， sn 1 ) 的 备 选 假设 。 ll 分 布 1pui| 如 下: 
Pol a FSN (一 2.0) = 0.023; po2 = FSN (一 1.5) 一 ESN (一 2.0) = 2D03 三 会 了 (一 1.0) 一 
FSsN (—1.5) = 0.092; po4 全 FSsN (一 0.5) — Fsn( 10)、 = 0.145; pos 全 Fsn (0) — Fsn (—0.5) = 
0.1915;poe 会 Fsn (0.5) — FSsN(0) = 0.1915; poy 全 Fsn (1.0) — Fen (0.5) 
FsN (1.5) — Fsn (1.0) = 0.092;poe 全 Fsn (2.0) — Fsx (1.5) = 0.044; poio 
Fsn (2) = 0.023 











= 0.15; pog 全 
A 
二 下 SN (co) 
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在 1000 次 观测 中 得 到 如 下 现实 : 
在 区 间 ( -o ，-2]: =19 
在 区 间 ( -2，-1.5]: =42 
在 区 间 ( -1.5, -1]: WW=96 
在 区 间 ( -1，-0.5]: Y=135 
在 区 间 ( -0.5, 0] : ?=202 
在 区 间 (0, 0.5]: WY=193 
在 区 间 (0.5, 1]: WW=155 
在 区 间 (1, 1.5]: ?=72 
在 区 间 (1.5, 2]: WW=53 
在 区 间 (2, % ] : Yo =33 

10 /也 — 1000po; 

| V1000po; 
V = 12.9, 由 于 wo.9 = 16.92, 12.9 小 于 16.92, 我 们 判决 数据 来 自 正 态 分 布 的 假设 为 真 。 


可 以 应 用 皮尔 逊 检验 统计 量 来 检验 两 个 未 知 概率 是 否 相 同 , 即使 没有 其 他 如 均值 、 方 差 等 
先 验 信息 。 例 如 , 我 们 用 印刷 机 测试 两 种 品牌 印刷 纸 : 品牌 A 在 150 次 试验 中 卡 纸 6 次 , 品牌 
B 在 550 次 试验 中 卡 纸 25 次 ,对 印刷 机 而 言 ,品牌 A 和 品牌 B 是 否 一 样 卡 纸 呢 ? 有 两 种 语音 
识别 程序 可 购买 , 假定 同一 个 说 话 者 , 我 们 发 现 语音 程序 SR1 在 250 个 单词 中 出 错 61 次 , SR2 
在 110 个 单词 中 出 错 30 次 , 两 个 程序 是 否 效率 相同 呢 ? 在 概率 论 框架 内 我 们 将 此 建 模 如 下 : 考 
虑 两 类 事件 Bl 和 Es, 的 发 生 , 是 否 满足 PLE ] =PLE,]? 定义 2 为 m 次 试验 中 我 们 观察 Bi 的 发 
生 次 数 , 2 为 后 续 n 次 试验 中 我 们 观察 Es 的 发 生 次 数 , 令 Pi AP[LEl] 及 ps APLE,], 当 m >1, 
2 之 1 时 , 根据 中 心 极限 定理 有 2 : N(mpi, mpiqi) 及 Zs:N(nps, npzqs)。 定 义 标 准 随机 变 
量 阮 AZ/AMmM:N(ps, P19/AM) 及 了 A2Zs/Nn:N(ps, p1491/n) 并 考虑 随机 变量 YAY, -了 ,由 于 
六 和 马 为 独立 的 (回想 卫 是 从 前 面 mr 次 试验 观察 得 到 , 防 是 从 后 续 rn 次 试验 观察 得 到 )， 可 
知 了 为 均值 为 p, -ps、 方差 为 oy = (np1q1 +mpsqs)/mm 的 正 态 随 机 变量 。 令 五 为 pi =pe 的 
假设 , 五 ;为 pi 关 ps 的 备 选 假 设 , 显然 在 五条 件 下 Y:N(0, piq1(m+N)/mrm)。 此 问题 的 皮尔 
逊 检验 统计 量 为 


2 
应 用 VA 子 ) 作为 检验 统计 量 , 其 在 甩 时 VV 为 如 。 对 于 给 定数 据 计算 得 到 


i=1 


六 二 (= ey (pi1 = 
OY 

服从 闪 分 布 。 在 显著 性 a 时 检验 , 计算 满足 1 -a=F(xi_。; 1) 的 百分点 zi1_。, 若 V<zi 
判决 假设 为 真 , 否则 判决 假设 为 假 。 

此 问题 的 难点 在 于 由 于 p, 和 ps 未 知 , 从 而 oy 是 未 知 的 , 一 个 解决 方案 是 用 基于 观测 的 
oy 的 估计 量 来 替代 xy。 在 孔 时 , pi =ps AD, 2 的 最 小 方差 无 偏 估 计量 为 方 = ( 马 +26)/(m 
+n), 可 知 在 厂 时 , 有 Gy = VBG(Cm+n)/mm, 其 中 6=1 -。 我们 用 两 个 例子 来 阐述 。 

例 7.4-4 (不 同 地 区 的 投票 模式 ) 在 一 个 大 州 的 选举 中 , 投票 后 民意 测验 显示 州 北部 农 
业 地 区 211 选举 人 中 167 人 投票 给 共和 党 , 南部 城市 地 区 499 选举 人 中 216 人 投票 给 共和 
党 ， 是 否 可 以 假定 北部 地 区 投票 给 共和 党 的 概率 Di 与 南部 地 区 投票 给 共和 党 的 概率 ps 
相同 ? 
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解 在 且 时 , pi =pas 人 AD, 在 有 H 时 , Di 关 pa。 在 盏 时 ,计算 可 得 妨 =388/710 =0.54, 9' = 
0.46, 好 =0.041, 玖 =167/211 =0.79, 了 到 =216/499 =0.43 及 YAW- 玉 =0.36, 因而 VV = 
(0.36/0. 041) 一 77,， 在 显著 性 水 平 w =0.05 时 , 可 得 os =3. 84。 由 于 77 >3. 84, 假设 显然 
不 成 立 。 

例 7.4-5 (科学 数据 的 解释 ) 在 对 恒 河 猴 是 否 能 区 分 不 同 的 声音 并 与 某 种 含义 建立 联系 ， 
包括 口头 语言 , 做 了 下 述 实 验 。 一 个 恒 河 猴 放 入 无 回声 的 房间 (外 部 隔音 ) ， 房 间 内 有 一 个 计 
算 机 控制 方向 的 喇叭 ， 随 机 地 发 出 两 种 信号 中 的 一 种 Si ， 一 种 恒 河 猴 在 其 自然 居住 地 可 能 听 
到 的 声音 S。, 一 种 口头 语音 。 如 果 猴 子 当 听 到 声音 发 出 时 , 将 头 转向 喇叭 ,说明 猴子 对 声音 有 
反应 。 如 果 发 出 S, ,可 能 意味 着 猴子 对 声音 好 奇 或 感 兴 趣 , 可 能 用 此 声音 作为 命令 进行 训练 。 
但 是 ,如果 猴子 对 此 声音 没有 反应 ， 意 味 着 猴子 认为 它 没有 意义 。 从 研究 者 角度 ,理想 情况 是 
当 发 出 S 时， 猴子 从 不 转 头 ,， 当 发 出 8 时 ， 猴子 总 是 转 头 ， 如 此 研究 者 就 可 以 写 一 篇 关于 恒 河 
猴 认 知 能 力 的 学 术 论 文 并 因此 出 名 了 。 我 们 忽略 猴子 的 头 是 否 转 了 足够 的 角度 而 可 称 为 “ 转 
头 ” 这 个 令 人 困惑 的 问题 @。 

在 267 次 发 出 “自然 居住 地 ”声音 中 ,猴子 转 头 112 次 ; 在 289 次 发 出 口头 语音 中 , 恒 河 猴 
转 头 173 次 。 令 pi 表示 发 出 “自然 居住 地 "声音 时 猴子 转 头 的 概率 ， 令 pa 表示 发 出 口头 语音 
时 猴子 转 头 的 概率 , 在 百 时 , D; =ps AD, 在 且 时 , Di 天 Ds。 我 们 是 否 可 以 假定 猴子 对 两 种 声 
音 的 反应 没有 区 别 ， 即 甩 | 为 真 呢 ? 

解 在 本 时 , 有 PB'=0.51, 0' =0.49, 6'=0.0424, Y=112/267 =0. 42, WW=173/289 = 
0.6 及 YAW- 玉 =0.18, 因而 Vi =(0.18/0.0424) =18。 在 0.05 的 显著 性 水 平时 有 zow = 
3. 84, 因此 假设 显然 不 成 立 。 


7.5 排序 , 百分点 及 排名 


为 方便 读者 , 我 们 将 6.8 节 的 部 分 内 容 复 述 一 下 。 取 累积 分 布 函数 为 Fy(x) 的 一 类 随机 
变量 X( 有 时 称 为 集合 ) 的 即 个 独立 同 分 布 观测 了 ，X。,，…, X,, 样本 的 联合 概率 密度 函数 为 
庆 (Zi) x… xjJrGZe)，-o <Ti<o， 41=1，…, We 我 们 将 XX, Y=1,…， n 按 大 小 (符号 数 
值 ) 排 序 后 得 到 排序 的 样本 对, 瑟 ,，…, 卫 ,, 即 -% < 了 < 了 <… < 了 ,<%w ,有 时 称 为 XX 观测 
的 排序 统计 量 。 当 排序 后 , 序列 3，-2，-9, 4 变 成 -9，-2, 3, 4,，。 若 序列 筷 ,…,Xw 是 由 
及 :N(0, 1) 的 nn 个 观测 生成 , 则 卫 >0 的 可 能 性 不 大 , 因为 这 需要 其 他 19 个 Y;, i =2,…, 20 
都 大 于 零 ， 即 所 有 样本 都 在 正 态 曲线 的 正 侧 , 这 种 可 能 性 为 (1/2)”。 同 样 ,， Yo。<0 也 是 不 太 
可 能 的 , 因为 这 需要 其 他 19 个 了 ,i=1,…, 19 都 小 于 零 。 如 5.3 节 所 示 , 排序 样本 页 ， 闷 ， 
…, 了, 的 联合 概率 密度 函数 为 n! fx(Y) x…x. 庆 (加 )，-o < < <… <Yy。<%m 或 等。 
排序 和 排名 是 不 同 的 , 排名 通常 给 排序 单元 指派 一 个 值 , 例如 , 大 多 数 人 会 将 骨折 的 疼痛 排序 
在 感冒 引起 的 喉 嘴 疼痛 前 面 , 但 车 一 个 内 科 医 生 要 病人 将 疼痛 按 0 到 10 排名 ,骨折 的 疼痛 可 
能 排名 第 8 或 第 9 ， 而 喉 嘴 疼 痛 可 能 排名 第 3 或 第 4。 





@@ ”这 项 研究 已 由 一 些 大 学 完成 , 但 结论 在 科学 界 引 起 争论 。 
@® ”一 个 类 似 于 棒球 中 “检查 氛 幅 "问题 , 裁判 员 必 须 判决 击 球 手 是 否 * 完 成 击 球 后 的 弧 形 动作 "还 是 "检查 其 摆 幅 ”。 
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下 面 考虑 百分点 的 概念 , 在 本 书 前 面 很 多 地 方 讨论 中 已 应 用 过 此 概念 , 我 们 将 在 此 就 其 细 
节 做 简短 阐述 。 假 定 一 大 群 人 的 IJ@ 分 布 为 N(100, 100)， 即 均值 为 100, 标准 差 为 10。 显 然 ， 
正 态 近 似 是 在 一 定 范围 内 容 有 意义 的 , 因为 没有 人 的 IQ 会 是 1000 或 是 -10。IQ 测试 本 身 也 
是 在 一 定 范围 内 有 意义 的 , 对 于 特别 聪明 或 严重 智力 低下 的 也 难以 给 出 精确 的 数值 , 有 时 将 这 
两 类 人 叫做 “脱离 IQ 范围 ”。 现 阶段 IQ 测试 依然 作为 解决 问题 能 力 的 指标 广泛 应 用 , 假定 IQ 
测试 结果 表明 小 孩 在 应 试 者 中 排名 是 93 百分点 , 由 于 其 "有 天 分 "而 有 资格 参加 项 目 , 我 们 怎 
么 定位 该 百分点 呢 ? 

定义 ( 百分点 ) ”给 定 累积 密度 函数 Fy (x) 的 随机 变量 子 , 和 的 人 百分点 是 满足 
(zw) = 的 vw 值 。 若 连续 函数 Fy 是 处 处 连续 且 可 微 的 , 则 x, =Fz (4) , 其 中 Fx" 是 累积 
密度 函数 Fy 的 逆 函 数 , 满足 Fx (Fx (zz)) =%。 标 准 正 态 累积 密度 函数 及 其 逆 函 数 如 
图 7.5-1 所 示 。 


u=PFy Co) 


x,=Fz!(u) 1 





(a) 





图 7.5-1 〈a) 标 准 正 态 累积 密度 函数 ; (b) 逆 函数 


观测 ”在 标准 正 态 Z:N(0, 1) 的 特定 情况 , 我 们 用 符号 z, (表示 站 的 ww 百分点 。 若 
XN(, oo ), 则 及 的 4 百分点 x, 与 zu 的 关系 满足 
Tu 一 凡 十 2 加 (7.5-1) 
例 7.5-1 (2 与 2 的 关系 ) 证 明 Cu = 内 +2uOo 
解 ”我们 有 





全 (2m) 一 72 | exp (-32) Zz 
6 2 


最 后 一 行 是 Z:N(0, 1) 的 累积 密度 函数 ,因此 x, = 几 +zur。 我 们 将 此 结论 用 于 前 面 提 到 的 IJQ 
问题 。 根 据 数据 有 Pr( Zu) =0.93 =Fs(2。)， 从 Fsw 表 中 可 得 ~1.48, 根据 如 = 几 +aua = 
100 +1.48(10), 得 到 IQ 的 93 百分点 对 应 的 IQ 为 115。 
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估计 百分点 和 中 值 时 排序 的 作用 ? 


简短 回顾 6. 8 节 与 百分点 和 中 值 相关 的 部 分 内 容 。 
集合 了 的 中 值 是 满足 Fx (xzos) =0.5 的 点 zos, 而 和 的 均值 ,写成 wx， 定 义 为 wx = 


[zfx(x) aw。 中 值 和 均值 并 不 需要 一 致 , 例如, 在 f(x) = Ae-*u(z) 情 形 中 , 可 得 wx =1AA 


及 xos =0.69/A。 计 算 也 的 均值 需要 f(x) ,但 这 经 常 是 不 知道 的 。 均 值 看 起 来 是 一 个 相对 抽 
象 的 参数 ， 而 中 值 仅仅 是 一 个 将 集合 分 成 两 部 分 的 点 ， 即 集合 一 半 在 这 个 点 之 上 , 一半 在 它 之 
下 @。 当 f(x) 假定 存在 且 其 参数 可 获取 或 估计 时 称 为 参数 情形 。 在 典型 的 参数 情形 中 , 需要 
假定 集合 密度 的 形式 , 如 正 态 分 布 , 并 希望 估计 分 布 中 的 某 些 未 知 参数 ,如 均值 xx。 对 于 
的 给 定 %n 个 独立 同 分 布 观测 且 ,XX，…, ,根据 应 = n”* 避 ”,X, 估 计 jx, 其 对 于 很 多 集合 
而 言 是 无 偏 有 一致 佑 计量。 实际 上 其 是 均值 估计 函数 应 的 简单 形式 , 当 ox 有 限 且 n 很 大 ( 参 
见 大 数 定理 ) 时 ,有 Ar 一 wx， 这 使 得 在 很 多 应 用 中 均值 非常 有 用 。 估 计 已 知 或 假定 分 布 中 的 参 
量 , 以 及 包括 已 知 或 假定 分 布 的 假设 检验 等 运算 , 称 为 参数 统计 。 

集合 的 特性 和 参数 的 估计 不 依赖 于 集合 分 布 的 知识 或 形式 的 假定 称 为 分 布 无 关 的 , 鲁 棒 
的 或 非 参 量 统计 。 仅 仅 基于 观测 而 没有 分 布 的 假定 的 统计 称 为 鲁 棒 的 , 这 是 因为 根据 观测 得 
到 的 定理 或 结论 不 会 因为 分 布 形式 的 不 同 而 改变 。 在 参量 情形 中 , 均值 和 标准 差 在 描述 集合 
的 中 心 和 散布 时 是 十 分 有 用 的 , 中 值 和 范围 在 非 参 量 情形 中 扮演 相同 的 角色 。 为 估计 , Z,， 
…,X, 的 中 值 , 我 们 根据 排序 统计 量 用 样本 中 值 估计 量 来 估计 zs 

yo.5 = 和 +41 车 nn 为 奇数 ， 即 nh 二 2k 十 1 
二 0.5(Yi 十 况 41) 车 nn 为 偶数 ， 即 n= 2k 

样本 中 值 不 是 ws 的 无 偏 估计 , 但 在 n 很 大 时 近似 无 偏 。 非 参量 情形 的 散布 用 50% 百分点 范 
围 描述 , 即 Axo so 人 xzor -Yo.zs, 或 用 90 百分点 范围 描述 , 即 Axo oo AYo 6s -Yo.0s， 或 用 其 他 合 
适 的 范围 描述 。 


例 7.5-2 (百分点 的 内 插 ) 用 符号 a~pB 表示 a 估计 B， 有 了 歼 ~2zosa， 到 ~2oss， 应 用 内 
播 公 式 ， 可 得 V0 3 为 


(7.5-2) 


03- 4/11) 


Ya LI 00.3 





图 7.5-2 显示 了 排序 样本 间 的 内 插 。 


下 面 讨论 一 个 与 百分点 排序 统计 相关 的 基本 结论 。 模 型 依然 是 累积 概率 密度 为 Fx(z) 的 
随机 变量 卫 的 n 个 独立 同 分 布 观 测 邓 ,XX。，…, X,, 应 用 标记 PLX;<x,] 全 4， 下 面 考虑 排序 
统计 量 页 < 五 <… < 允 及 事件 | 了 <x,} ,由 于 是 |X;| 排序 中 第 个 单元 , 表明 在 1X;| 中 
至 少 有 个 值 小 于 x,, 可 能 有 更 多 , 但 不 会 少 。 因 为 |X;| 是 独立 同 分 布 的 , 可 以 用 二 项 式 概 
率 公式 计算 PLY <x, ] 为 





@ 对 6.8 节 内 容 熟 悉 的 读者 可 跳 过 此 部 分 。 
加 “中 值 “集合 一 半 在 其 之 上 , 一 半 在 其 之 下 "的 说 法 不 是 很 精确 。 读 者 应 当 意 识 到 样本 的 中 值 通常 与 整个 集合 的 中 值 是 
不 同 的 。 
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PIYi: < za] =P 





{XX;} 中 至 少 有 大 个 值 小 于 | 
(7.5-3) 


-ee 


下 面 考虑 事件 | 了 7,, >x,| , 由 于 了,, 是 1X,} 排序 中 第 (Kk +7) 个 单元 , 则 |X} 中 至 少 有 一 
(k+7) +1 个 值 大 于 x,, 等 效 地 ，|X;| 中 有 不 超过 k +7 一 1 个 值 小 于 x,。 即 
Ee [5 次 ul = P|[{X;} 中 有 不 超过 4 1 个 值 小 于 2 


=- (wo ee 
事件 | 了 ,>z。| U1Y, <z。| 的 并 集 为 事件 | 了 <x < 五 ,| ,其 概率 
Pi < su < Yer = De (Fe (7.5-5) 


与 fx(X) 是 相互 独立 的 。 式 (7.5-5) 给 出 的 结论 是 非 参 量 统计 中 的 重要 结论 并 有 重要 应 用 , 例 
如 下 述 集合 的 中 值 估 计 。 


10 





Ji 了 为 Yays J6 yr J9 V10 


图 7.5-2 从 10 个 排序 的 样本 估计 百分点 范围 显示 为 样本 间 线 性 内 插 。 为 获取 估计 
的 百分点 , 采用 纵 坐 标 值 并 乘 以 100/11 ,这 样 ,对 于 初始 近似 ,90 百 
分 点 从 yw 估计 ,而 9 百分点 从 妇 估 计 ,ys-ys 获 盖 了 50 百 分 点 范围 


例 7.5-3 (和 履 盖 中 值 的 95% 置信 和 度 需 要 多 大 的 样本 数 ?) 我 们 寻求 随机 区 间 [ 卫 ,了 了 ,] 的 端 
点 了 ,了 ,满足 事件 | 了 <xos < 了 ,| 发 生 的 概率 是 0.95。 此 处 YAmin(X, ZY，…, 成,)， 
,Amax( 六 ,六 ，…,,)， 则 实际 上 应 该 取 多 大 呢 ? 

解 ” 通 过 计算 


n—l 
三 [六 过 705 六 2 一 3 (om 多 0.95 


1 
可 得 当 n =5, P[Y <xos <] 二 0.94, 随机 区 间 [ 了 总 ,了 ] 改 盖 50% 的 百分点 的 概率 随 N 的 变 
化 规律 在 图 7.5-3 中 示 出 。 


例 7.5-4 (和 履 盖 x 3 的 最 可 能 排序 对 ) 有 一 组 排序 统计 量 | 了 ,了 了 ,，…, 了 |，, 希望 找到 一 
个 排序 对 | 了,, 了 ,,, ,$=1, …, n 一 1| 覆盖 33. 33 百分点 的 概率 最 大 ,33. 33 百分点 由 1/3 = 
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FEx(Zos) 给 出 。 我 们 假定 人 .=10, 根据 式 (7.5-5) 可 得 
10! i 
P[Yi: < zo0.33 < Yr+1| = RO Aj/3) (2/3)” = 
结果 绘 在 图 7.5-4 中 。 显 然 间 隔 [ 了 了 ,， 了 ] 履 盖 Yo 3 的 可 能 性 最 大 , 事件 | 了 了 <wo.33 < 马 | 的 概率 
为 0.26。 


随机 区 间 和 覆盖 中 值 的 概率 
i 
诈 0.8 
罕 
i rk 


0 2 4 6 8 10 
样本 数 


图 7.5-3 事件 | 了 <zos < 了 ,| 和 覆盖 中 值 的 概率 与 n 值 的 关系 


33 百 分 点 被 第 k 个 相 邻 的 
排序 对 覆盖 的 概率 








1 2 3 4 5 67 8 9 
第 k 个 排序 对 
图 7.5-4 ”在 所 有 成 对 区 间 [ 了., ,1] 中 , 区间 [ 驴 ,区 ] 覆 盖 xzo.s 的 可 能 性 最 大 , 此 处 n=10 
例 7.5-5 (对 于 二 项 式 分 布 ， 中 值 和 均值 不 同 ) 下 面 我 们 做 一 些 常规 观测 ， 对 于 二 项 式 情 
形 , 均值 和 中 值 是 不 同 的 。 例 如 , 当 p =1/2, n=4 时 , 均值 为 2, 其 中 值 将 会 位 于 1 和 2 之 间 。 
然而 ,当即 取 值 很 大 , 均值 和 中 值 相互 接近 ,中 值 可 用 均值 估计 得 出 , 事实 上 , 均值 和 中 值 的 
误差 正比 于 (p(1 -Pp))", 当 n 一 % 时 可 以 任意 小 。 


当 n 很 大 时 中 值 的 置信 区 间 
若 nn 足够 大 , 以 至 于 二 项 式 分 布 可 以 用 正 态 分 布 近似 , 我 们 有 
a 1 人 1 
Pla 一 a i | exp [| 


其 中 


B 也 全 3 括 
Plas Sn < 6]= 3 (za 一 DJm 一 
(7.5-6) 





Aa—np—0.5 ,AB—-np+0.5 


Vp Vp- 
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应 用 此 结果 于 就 近 的 问题 , 有 
BY 0s EYhrtdl = 人 ) (1/2)" (7.5-7) 


在 应 用 中 中 值 定义 为 & = Ex(zus) =1/2。 下 标的 选择 确保 置信 区 间 于 从 底部 开始 的 第 个 位 
置 计算 , 即 1, 2, 3，…, 7, 结束 于 从 顶部 开始 往 回 计算 7 个 观测 位 置 。 举 例 来 说 , 如 果 ? = 10 
时 95% 置信 区 间 得 到 7=3, 置信 区 间 从 第 3 个 观测 开始 , 结束 于 第 8 个 观测 ,两 个 点 均 分 别 是 
从 底部 或 顶部 开始 的 第 3 个 位 置 , 即 1, 2, 3( 叉 ) 和 10, 9, 8( 了)，, 结果 可 表示 为 PLY <zos 
<Y,] =0.95。 

从 二 项 式 求 和 公式 [参见 式 (7.5-7) ] 注 意 到 , 其 均值 为 w2, 标准 差 为 /1/2, 而 二 项 式 求 和 
公式 的 95% 置信 区 间 正 态 近似 为 


3 (®? ti 2 | = 
。 一 一 一 > = 10 一 UY 
i=r \i 7 


由 标准 正 态 分 布 函 数 Foy (x) 表 可 得 a, = -1.96, B, =1.96。 根据 式 (7.5-6), 有 
7 一 个 一 !/2 十 0.5 





1.96 = 
Vn/2 
jo = n/2—0.5 
Vn/2 


可 得 +=(n/2) -1.96 VR/2 +0.5。 如 果 7 不 是 整数 , 则 用 [7 | 代替 7+， |7 | 为 小 于 等 于 7 的 最 
大 整数 。 

例 7.5-6 (n=20 时 中 值 的 95% 置信 区 间 ) 随 机 变量 妃 的 20 个 观测 为 |X;, $=1,…, 20|， 
根据 其 大 小 排序 为 < 了 <… < 于， 由 7=(n/2) -1.96 Vn/2 +0.5 可 得 7=6.12 和 [7|=6， 
则 有 P[ ys <zxos <Ys |] 二 0. 95。 


分 布 无 关 假设 检验 : 采用 游程 法 检验 两 个 集合 是 否 相 同 


通常 假设 检验 采用 非 参数 统计 量 比 参数 情形 要 复杂 难 懂 ,， 因 为 检验 统计 量 的 分 布 难以 计 
算 , 然而 ,， 当 样本 数 很 大 时 ,比如 大 于 10, 我 们 可 以 应 用 正 态 近似 来 计算 判决 域 。 

通过 考虑 下 述 简 单 情 况 来 介绍 游程 法 。 我 们 得 到 累积 密度 函数 为 Fx(x) 的 随机 变量 耻 ( 集 
合 )ni 个 观测 | ,i=1,…, m1 ，, 将 其 按 大 小 排序 后 得 到 样本 | 了 ,i=1,…, m1 ,我们 再 
得 到 同一 随机 变量 了 的 no 个 观测 1X;”, i =1,…，, ns| ,将 样本 按 大 小 排序 后 得 到 | 2,， 
ti=1，…, ns|。 然 后 将 两 组 未 排序 的 样本 合并 后 按 大 小 排序 ， 则 排序 后 序列 可 能 为 Z1，2;， 
Ps 下 
游程 为 被 其 他 类 的 字母 限制 的 同类 字母 序列 或 整个 序列 的 开始 /结束 , 因此 Z1， 2 为 首 个 游 
程 , 其 长 度 为 2, 下 个 游程 为 已 , 其 长 度 为 1, 以 此 类 推 , 最 后 一 个 游程 为 乙 ,了 , 长 度 为 2。 
计算 游程 总 数 并 称 为 D, 注意 到 D 为 随机 变量 。 由 于 两 个 样本 集 来 自 同 一 集合 , 可 以 期 望 了 
集 和 Z 集 会 混合 得 相当 彻底 ,从 而 DD 会 很 大 。 然 而 , 若 了 和 集 和 2Z 集 来 自 不 同 集合 , D 很 有 可 
能 会 显著 减 小 。 例 如 假定 有 两 个 集合 ， 即 概率 密度 函数 为 fx (xX) =rect(x) 的 集合 也 "和 概 
率 密 度 函 数 为 fx (x) =rect(x -2) 的 集合 X”, 若 17;, i=1, …, n| 表示 "集合 的 排序 ， 
12, ,1=1, …, n| 表 示 X” 集 合 的 排序 , 则 混合 序列 的 排序 样本 为 了 了 … 了 ,212，…2， 由 于 
其 概率 密度 函数 没有 重合 , 有 D' =2。 
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例 7.5-7 (均值 相同 和 不 同时 集合 的 DD 的 现实 ) 利 用 互联 网 上 的 随机 数 发 生 器 RAN- 
DOM. ORG 生成 两 个 正 态 随 机 数 集 , 每 个 集合 10 个 数 

N(0,1) = {z(V: =0.19,，'0.99; =1,1, =1.0，=1,3; =0.53, =0.25, 0.75, —0.25, 0.75 } 

N(0,1) 一 {z2: 0.68,—1.2, 0.28， 0.61, —1.2, —1.5, 2.1, —0.10, —0.87, 0.80 } 
将 序列 x 中 和 ww 分别 按 大 小 排列 得 到 排序 后 序列 YYso…Yio 及 ZiZo…2io, 其 中 Y= -1.3， 
Yio =0. 99, 2Z1= 一 1.6 及 zio =2.1, 将 两 个 序列 混合 成 一 个 序列 并 按 大 小 排序 ， 得 到 序列 
21212223W22as2424252627252627282sWs2o9Vio2io ， 可 得 万 ' =11。 

重复 实验 ,从 标准 正 态 分 布 N(0, 1) 取 出 10 个 随机 数 , 从 N(1, 1) 取 出 另外 10 个 , 数据 
按 不 同位 置 存放 ， 结 果 为 

N(0,1)— {fz(: —0.079, 1.3, —0.15, 1.2, 0.75, —1.2, —0.11，-0.84, 0.35, 0.55 } 

N(1,1)— {rz (2: 1.2, 0.056, 0.3, —0.77, 0.95, 1.1， 0.095, —0.43, 1.1,， 1.3} 
此 处 排序 的 序列 与 N(0, 1) 相 关 ，, 排序 的 # 序 列 与 NW(1, 1) 相 关 , 将 数据 合并 成 单一 序列 后 
再 按 大 小 排序 , 得 到 序列 

V1Y22122Y3Y4Y5232425Y6Y7Y826272829Y9Y10210 

可 得 D' =8, 比 单独 NN(0, 1) 情 况 小 27% 。 这 个 例子 说 明 随 机 变量 了 DD 可 以 作为 两 个 集合 是 否 
相同 的 假设 的 检验 统计 量 。 若 万 足够 大 ,比如 说 万 >d， 可 以 得 出 两 个 样本 集 出 自 同一 集合 
的 结论 , 否则 就 不 是 出 自 同一 集合 。 下 面 讨论 d。 的 选择 。 

我 们 采用 假设 检验 的 原理 来 检验 两 个 样本 集 是 否 出 自 同一 集合 。 有 两 个 样本 集 : |X;”， 
1 =1，…， 7 和 1 ,1=1，…，,， ns|。 零 假设 五, 为 两 个 样本 集 来 自 同一 集合 , 备 选 假设 豆 
为 两 个 样本 集 不 是 来 自 同一 集合 , 可 能 更 精确 的 描述 是 : 没有 足够 的 证 据 表明 它们 来 自 同一 集 
合 。 检 验 是 基于 观测 检验 统计 量 D, 若 事件 1 > | 发 生 , 则 两 个 样本 集 混 合 充分 从 而 来 自 同 
一 集合 , 若 事 件 |D<qo | 发生 , 则 表明 数据 不 支持 于 成 立 。 若 w 人 AR[ 豆 为 假 ! 瑟 ;为 真 ] 表 示 
显著 性 水 平 , 则 a = PLD < ql 厂 为 真 ] = os 7 ，7a ) ,其 中 Pop(d; m,n) 为 在 长 
度 为 ns 和 ns 交织 序列 中 观测 到 a 游程 的 概率 。 

计算 Pp(a; n,n) 需要 较 复杂 的 计算 过 程 ， 此 处 我 们 仅仅 给 出 最 终结 果 。 定 义 


hs 人 7 
Ym m 





在 零 假设 时 可 得 
20043)_1C002)_1/CMt"*,d 为 偶数 
PO | (C1)/2C0 3)/2 十 CW-a) /aC 1) 2)/ Cnt™,d 为 奇数 
这 个 第 拙 的 方程 不 能 为 分 析 目 的 给 出 更 多 信息 , 需要 计算 机 来 估计 gq。 然而, 这 显示 了 当 mn >10， 
ns 宇 10, DD 的 分 布 十 分 接近 正 态 累积 密度 函数 , 其 均值 和 方差 分 别 如 下 : 


了 2 
2n1n2 Nn1 n2 
HD ST ,0D OT 4(n1 + nz) 
721 十 ?22 721 十 722 721 十 702 


我 们 可 将 a = P[D < do 1 HH 为 真 ] = 》 Pp(d; m,ns) 近似 为 
所 有 d<d。 


下 1 2 A do— Hp 
= > Pl(d) = 一 一 | exp (-3° ja Za 三 一 -一 一 
所 有 dd。 VA doo Ws 
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例 7.5-8 (相同 集合 的 游程 检验 ) 我 们 应 用 RANDOM. ORG 从 集合 N(1, 1) 得 到 两 个 10 

个 数据 集 , 将 其 排序 后 

N(1,1) = {y( :~—1.4, — 0.33, 0.40, 0.44, 0.70, 0.74, 1.3, 1.3, 1.7, 2.4} 

N(1,1) 一 {v2 : 一 0.67，- 0.21, 0.38, 0.38, 0.51, 0.71, 1.4, 1.5, 2.0, 2.9} 
为 测量 目的 , 将 两 个 序列 合并 成 单一 序列 并 按 大 小 排序 ， 可 得 现实 DD =12。 下 面 需 要 一 个 来 
自 “ 未 知 ” 分 布 的 随机 数据 集 并 将 其 按 大 小 排序 为 

{y43) : 一 3.8, —2.5, —0.13, 2.2, 2.8, 3.0, 3.8, 4.6, 5.5, 5.8} 

将 此 序列 与 1y"" | 序列 合并 后 排序 计算 游程 ， 可 得 D' =6。 我 们 希望 在 显著 性 水 平 0. 05 下 检 
验 |y" | 和 |y" | 来 自 同一 集合 的 假设 , 求解 


1 Z0.05 1 
一 一 exp | 一 =Z” jdz = 0.05 
V2T | 有 2 ) 


可 得 200s = -1.65。 对 于 给 定 样 本 数 , 可 得 jwp =10, op =V5, 因而 do =opzoog +Mp =6.3， 由 
于 D'<do( 和 勉强 ), 我 们 判决 |1y” | 也 来 自 N(1, 1) 集 合 的 假设 不 成 立 。 事 实 上 ，|Yy" | 序列 来 
自 集合 N(1, 3)。 


相同 两 集合 的 排名 检验 


检验 两 个 集合 相同 的 另 一 程序 称 为 排名 检验 。 假 定 两 个 连续 集合 和 和 了 ,其 分 布 分 别 为 
F(X) 和 Fy(y), 我 们 希望 检验 假设 Hl : Fy =Fy 对 备 选 H,: Fx Fyo 从 半 中 取 Nl 个 样本 ， 
从 了 中 取 n 个 样本 , 将 其 混合 并 按 大 小 排序 , 给 序列 中 每 个 单元 指定 一 个 值 表示 其 升序 位 
置 , 例如 , 事件 < 页 <X。 < < 了 ,< 了 < 了 指定 为 

X1 YY X2 X3 Y2 Y3 Ya 

工 间 | 玉 胡可 有 7 
指派 的 值 为 其 单元 的 排名 , 了 序列 排名 为 2, 5, 6 和 7, 此 处 mn =3, ns =4。 序 列 最 后 单元 的 排 
名 为 ni +ns,， 首 单元 排名 为 1。 可 证 明 随机 变量 

Ta 和 排外 
Y 序 列 

是 检验 Fx(x) =Fy(xX) (对 所 有 x) 假设 的 合适 的 检验 统计 量 , 若 了 太 大 或 太 小 , 假设 不 成 立 。 
为 在 显著 性 水 平 a 时 检验 假设 , 需要 7 在 零 假设 下 的 分 布 , 可 以 证 明 7) ， 当 7 >7， 
ns >7( 理想 情 况 是 越 大 越 好 ) 时, T 近似 为 N(jr, o7) 的 分 布 , 其 中 jr = (m+ns +1)/2， 
oz =Wno(ni+ns+1)/12。 在 上 述 例题 中 , 可 得 jr =16, ox =8。 

例 7.5-9 (相同 集合 的 游程 检验 ) 应 用 例 7.5-8 中 的 |y' | 和 |y" | 序列 ,将 其 合并 后 按 
升序 给 每 个 单元 指定 排名 。 对 于 |y" | 序列 中 的 单元 , 排名 为 1, 2, 5, 13, 15, 16, 17, 18, 19 
和 20, 其 和 为 126, pr =105, or =13.23。 假 设 为 两 个 序列 来 自 相同 集合 。 在 显著 性 水 平 a = 
0.05 时 , 求解 F(xwo 02s ) =0.025 得 到 x0 0s = -1.96, 因此 判决 域 为 |T>131| UT<79} ,我 
们 判决 两 个 序列 来 自 同一 集合 的 假设 为 真 (错误 的 )。 在 显著 性 水 平 a =0.1 时 , 判决 域 为 
1T>127| U1T<87|, 在 a=0.1 上 面 一 点 , 假设 将 不 成 立 。 


小 结 


假设 检验 是 统计 学 的 一 个 主要 内 容 , 是 在 随机 (或 概率 ) 环 境 下 做 出 判决 。 在 本 章 开 始 ， 
将 自己 当成 一 名 医生 , 要 做 出 是 否 对 其 病人 实施 手术 的 困难 决定 , 应 用 所 有 的 先 验 信息 并 
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寻求 平均 风险 最 小 , 我 们 推导 出 贝 叶 斯 判决 准则 , 在 可 用 信息 是 概率 类 型 而 不 是 确定 型 时 ， 
贝 叶 斯 判决 准则 是 做 出 判决 最 合理 的 方法 (有 争议 )， 贝 叶 斯 判决 准则 归结 为 似 然 比 检验 
(LRT), 

贝 叶 斯 检验 中 的 先 验 概 率 并 不 总 是 可 用 的 ,比如 似 然 比 检验 中 假设 判决 门限 是 由 指定 错 
误 概率 a 而 不 是 平均 风险 最 小 化 决定 时 ,错误 概率 是 当 假 设 为 真 而 基于 观测 的 判决 为 假 的 概 
率 。 在 检验 简单 假设 对 简单 备 选 假设 情形 , 纽曼 -皮尔 逊 理论 确保 似 然 比 检验 是 最 佳 的 , 即 最 
大 势 检验 , 这 意味 着 当 假 设 为 真 时 , 判决 假设 不 成 立 的 概率 最 小 。 

在 很 多 情况 下 , 由 于 假设 或 备 选 或 两 者 在 样本 空间 包含 很 多 结果 , 简单 假设 对 简单 备 选 假 
设 的 检验 变 得 不 可 能 ,此 时 可 用 广义 似 然 比 检验 (GLRT) 。 我 们 通过 一 系列 例题 介绍 广义 似 然 
比 检验 , 其 中 有 耳 检 验 、t 检验 及 皮尔 逊 开 方 检验 等 经 典 检验 。 

然后 考虑 排序 、 百 分 点 和 排名 , 介绍 了 这 些 工具 能 够 用 于 分 布匹 关 ( 有 时 称 为 鲁 棒 ) 统 计 ， 
这 些 内 容 我 们 是 通过 游程 检验 和 排名 检验 的 假设 检验 例题 来 介绍 的 。 


习题 


7.1 证 明 式 (7.1-6)。 

7.2 考虑 例 7.1-1, 令 先 验 概率 为 已 =0.9, P。 =0.1, 其 将 如 何 影 响 贝 叶 斯 判决 准则 ? 

7.3 ”假定 一 个 正 态 集合 了 :N(x, 1), 对 尺 的 独立 同 分 布 观测 序列 为 |X;: $=1,…, n| , 在 显著 性 水 平 0.05 
时 , 计算 五 :=p 对 备 选 豆 :人 >p 假设 检验 的 判决 域 。 

7.4 证明 似 然 比 检 验 的 势 了 由 P=P[ 厂 为 假 ! 有 HH 为 真 ] 给 出 。 

7.5 例 7.2-2 中 , 为 什么 不 需要 用 中 心 极限 定理 来 证 明 jx (nn) 是 正 态 分 布 的 ? 

7.6 掷 100 次 硬币 , 观察 到 50 +k 次 正面 和 50 -k 次 背面 , 当 显著 性 a =0. 05 时 , 为 确保 掷 便 币 是 公正 的 这 
个 假设 成 立 ,& 的 最 大 值 是 多 少 ? 当 a =0. 01 重复 分 析 。 

7.7 一 个 消费 者 在 冰点 温度 环境 下 考虑 在 蓄电池 折扣 店 购买 汽车 蓄电池 (DBW)，, 感 兴 趣 的 蓄电池 是 两 种 
渠道 进口 的 , A 和 B, 两 种 渠道 并 不 是 采用 同一 质量 控制 标准 的 , 好 的 (A) 可 以 在 冰点 温度 时 启动 汽车 
的 概率 为 90% , 而 差 的 (B) 在 此 环境 中 启动 汽车 的 概率 为 50% ,两 种 渠道 的 蓄电池 数目 相同 , 且 从 外 
部 特征 不 能 区 别 。 蓄 电池 销售 商 允 许 消费 者 在 购买 前 用 测试 蕃 电 池 在 冰点 环境 下 启动 一 次 汽车 。 

我 们 需要 从 假设 检验 角度 来 面 对 消 费 者 的 困境 。 令 假设 为 H: 蓄电池 启动 概率 p, =0.9 对 备 选 假设 
五 ,: 蓄电池 启动 概率 p。 =0.5, 有 两 种 操作 : a (购买 蓄电池 ) 和 qz (不 购买 蓄电池 )，, 代价 函数 用 美元 
表示 : !(a , Di ) =0; !(al, ps) =40 ( 花 在 质量 差 的 蓄电池 上 的 钱 ) ; !(a ,Di ) =10( 错 过 好 蓄电池 而 
在 别处 至 少 花费 10 美元 ) ; i( as, ps ) =0。 定 义 随机 变量 为 

xafo 蓄电池 可 以 启动 汽车 

“”【0, 著 电 池 无 法 启动 汽车 
(a) 确 定 四 种 可 能 判决 函数 (qd;, i=1,…, 4); 
(b) 计 算 每 种 判决 函数 的 风险 (R(di; p;), i=1,…, 4; j=1,2); 
(c) 在 笛 卡 儿 坐 标 系 上 绘 出 风险 函数 , 横 坐 标 为 R(d; pi)，, 纵 坐 标 为 R(ad; pa ) 。 从 图 上 确定 哪 种 函数 
是 由 至 少 其 他 一 种 判决 函数 控制 (更 差 ) ， 因 而 是 不 可 接受 的 (不 值得 考虑 ) 。 

(d) 假 定 已 知 B 类 蓄电池 数 是 A 类 的 两 倍 , 这 会 如 何 影 响 你 的 判决 ? 

7.8 对 于 一 个 给 定 的 简单 假设 及 其 备 选 假设 问题 ,其 判决 风险 集合 [R(d; 0 ), R(d; 9,)], 当 0 < R(d; 
b) <1,0<R(di 9) < 1 时 , 在 考虑 所 有 情形 时 , 代价 函数 近似 可 表示 为 (R(d, 901) -1) ”+ 
(R(d, 0;) -1) = 1, 已 知 P[L0,] =P2] =0.5, 此 时 贝 叶 斯 代价 是 多 少 ? 

7.9 令 了 :N(p,1), 其 中 =jp =1/2 或 =p = -1/2。 令 栈 := -1/2 和 三: j=1/2, 定义 两 种 操作 


7.18 
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a1: 且 为 真 ( 吾 ; 为 假 ), qs: 环 为 真 ( 瑟 为 假 ) 。 己 的 样本 空间 为 =|1-o ,ol, 令 SI=}1-om ,0 及 

S, = 10,，% | , 考虑 两 种 互 斥 事件 斩 =1XeS| 和 E,=|XeS,|。 

(a) 计算 四 种 概率 P(Eilmi) i=1, 2; j=1, 2。 

(b) 确 定 四 种 可 能 判决 函数 d;, i=1,…, 4 

(c) 假 定 代价 函数 l(a, pj) =0, l(a ,pr) =2, !(a 人) =5, 1(as, 如) =0, 试 计算 (b) 中 各 种 判决 
函数 的 风险 。 哪 个 判决 函数 是 不 可 接受 的 , 即 至 少 有 一 个 其 他 判决 函数 控制 (好 于 ) 它 ? 

有 两 个 正 态 集合 总 : NG , o) 及 素 : NU ,0 )，, 在 显著 性 水 平 5% 时 检验 本 :pw =pw 对 本 :pj 关 1w，, 试 

描述 这 个 检验 。 

有 两 个 正 态 集合 马 :NO ,oo ) 及 及: N(jw, oo)，, 在 显著 性 水 平 5% 时 检验 Hi: pj =pw 对 钱 : jp >p， 

试 描述 这 个 检验 。 

调整 有 : jw =pz 对 本 H;: jw <pj 后 重 做 习题 7. 11。 

假定 有 ?2 个 独立 同 分 布 正 态 随机 变量 观测 X, ，…, X, , 我 们 希望 基于 ?个 样本 检验 如 : ox = ol 对 

束 : 0% 关 2，, 描述 此 检验 并 证 明 最 简单 的 检验 可 以 用 xX 分 布 实现 。 

邻 卫 : NG, oo ) ,其 中 已 知 j = 1 或 0。 基 于 单个 观测 判决 假设 可 :jp = 1 对 可: pw = 0。 

(a) 证 明 似 然 比 检验 形式 为 : 如 果 A A exp(o (对 -1)) >, 则 判决 五: jp = 1 为 真 。 

(b) 证 明 等 效 检验 为 : 若 忆 > c A kao” +0.5, 则 判决 于 : jw = 1 为 真 。 

(Cc) 给 定 a = 0.02, 其 中 a = PLH, 为 假 ! 瓦 为 真 ], 证 明 区 分 判决 域 的 常量 c 由 c = zwo +1 给 出 ， 
其 中 zo o 为 标准 正 态 累积 密度 函数 的 第 二 百分点 。 

(d) 令 o =1, 证 明 e =-2.05+1 =-1.05。 

令 承 :N(j,1) 表 示 均 值 已 知 为 =p =3 或 =ps =1 的 集合 , 取 半 的 nw 个 独立 同 分 布 观测 |X; ,i=1， 

,| , 令 丁 :=p =3 及 本 :=p =1, 证 明 似 然 比 检验 为 若 满足 让 > (22) “In(k) +2&Ac,, 则 五, 


为 真 , 其 中 应 = 二 避 ”,X, 常 量 c, 由 显著 性 水 平 a 确定 。 寻求 用 pn 和 ,表示 的 cv 的 通用 表达 


式 , zu。 为 N(0, 1) 分 布 的 a 百 分 位 数 。 假 定 n=10, 当 a =0.01 时 的 c, 是 多 少 ? 

(习题 7. 15 的 继续 ) 在 习题 7.15 中 , 若 7 为 未 知 , 同时 已 知 a=0.02 及 B =0.01 时 计算 nn 值 。 

(习题 7. 16 的 继续 ) 保持 a 为 a =0.02, 证 明达 到 给 定 势 的 样本 数 如 下 图 所 示 [ 提示 : 应 用 Excel 中 的 
NORMINV( 概率 , 均值 , 标准 差 ) ] 。 

样本 数 与 势 


需要 的 样本 数 
上 DOD 


3 2 

2 

i 

0 

0.85 0.9 0.95 1 1.05 


势 =1-B 

(方差 比较 的 下 检验 ) 书 检验 在 检验 两 个 正 态 集合 方差 (或 标准 差 ) 是 否 相同 时 非常 有 用 。 典 型 地 , 我 们 
检验 假设 本 :ol =os 对 厂 :o1 关 0。， 当 输入 为 两 个 正 态 集 合 Nm ， oi) 和 NN(jw, 02) 时 ,下 检 验 可 以 
在 线 比较 样本 方差 之 比 。 因 此 , 假定 有 已 的 m 个 样本 | 已 i=1,…, m| , PP, 的 nn 个 样本 | 入 ,j=1， 
…,n| ,因为 要 保持 样本 方差 相互 独立 , 我 们 没有 将 样本 混合 。 用 多 个 程序 中 的 一 个 来 计算 输入 现实 
jz, C=1,…, m| 和 |zx2j, Y=1,…, n| 的 样本 方差 数值 , 用 符号 st1 和 sz 表示 为 sf A (m -1)” 
习 (zu -)* (自由 度 DOF=m-1) 及 号 A (人 -1 (zu -WW)* (自由 度 DOF =n-1), 其 
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7,. 19 


7.20 


7.21 


7.22 


7.23 


中 五 = m7 有 zi 和 融 = 0 了 ,za 为 样本 均值 。 我们 指定 显著 性 水 平 a, 算法 如 下 : (1) 计 算 

r=si/ 呈 ，(2) 比 较 权 与 Fs, ww, 其 中 ,ow 为 显著 性 a 时 m -1 和 nv-1 自由 度 的 忆 分 布 的 临界 

值 。 当 检验 瓦 : ol =o 对 乓 : ol >om 时, 若 玉 > 及 ww 时 , 判决 五 为 假 。 

当 检 验 豆 : ol =oz 对 本 :ol <os 时, 若 尺 < 下 。w sw 时 , 判决 总 为 假 。 

当 检验 忌 : cy = oz 对 柬 : oz 关 os 时 ,车 下 < ws, ww 或 局 > 局,s, ww 时 , 判决 总 为 假 。 

作为 一 个 练习 ,首先 生成 两 个 相同 方差 e 高 斯 随机 数 集 , 然后 生成 两 个 不 同方 差 e 高 斯 随机 数 集 , 用 

在 线 计算 器 , 如 BioKin 统计 计算 器 来 检验 下 检验 的 有 效 性 。 

(推广 正 检 验 到 多 集合 ) 另 一 个 应 用 下 检验 的 方式 是 检验 不 同 集合 统计 上 是 否 相似 , 我 们 将 在 本 题 及 下 

题 中 讨论 基于 统计 背景 的 此 类 检验 。 假 定 有 个 集合 ,每 个 集合 有 n; 样 本 , 有 吏 ”,n, =n, 令 第 i 个 

集合 中 第 了 个 样本 表示 为 Yi, 令 集 合 样本 均值 定义 为 2; A ni 了 Yy, i=1,…,k, 且 Fy,j=1, 
Ni; C=1,，…, | 为 nn 个 独立 随机 变量 。 在 各 集合 中 , n 个 随机 变量 为 独立 同 分 布 , 因此 对 于 所 有 

了 个 样本 , 有 Var[ 了 ,] = 0%,。 通 过 定义 2, 我们 得 到 上 个 正 态 随机 变量 |2,, i = 1,…, k| , 其 方差 为 


局， = 1,…,k, 且 所 有 样本 的 均值 为 有 4&7 吏 和 24 证明 当 也 (至 = 如) 服从 大 1。 令 
“be 





Var[ 了 Yy] = 0% ,i =1,…, KK, 证明 = o3/n, i = 1,…, ,解释 为 什么 Re (2 - 反 )* 有 时 

称 为 集合 内 变化 率 或 集合 间 变 化 率 。 

(习题 7. 19 的 继续 ) 证明 0 (a) 服从 让 。 在 何 种 假设 下 ， 上 =] | 
7 


Orzi 





5 DY - 马 )Men) 可 以 写成 了 m2 -pe) /Fy 2)2 = 区 MC? 最 
后 通过 分 子 除 以 k -1 及 分 母 除 以 nk 可 生成 五 统计 量 , 即 
Port = (Wk) Dm pA -1) D (Yo - 2) 


= (nn kX/ (Ck — Xs 





(五 检验 ) 从 参考 文献 [7-6] 中 我 们 得 到 如 下 真实 数据 来 检验 吸烟 者 和 非 吸烟 者 不 同 水 平 的 氧气 吸收 能 
力 , 有 5 项 : 
类 型 吸收 率 均 值 吸收 率 标准 差 各 类 型 的 人 数 

非 吸烟 者 在 无 烟 环 境 (1) 3.17 0.74 200 

非 吸烟 者 在 有 烟 环 境 (2) 2.72 0.71 200 

轻 度 吸烟 者 (3) 2.63 0.73 200 

中 度 吸烟 者 (4) 2.29 0.70 200 

重度 吸烟 者 (5) 2.19 0.72 200 


假设 五 为 5 项 中 的 空气 流动 没有 区 别 ; 备 选 假设 为 至 少 有 一 项 呼吸 统计 与 其 他 有 明显 差别 中 。 在 显著 
性 水 平 为 0. 05 时 计算 是 否 接受 或 拒绝 假设 。 

( 开 方 检验 ) 植 物 学 家 试图 通过 两 种 豌豆 的 杂交 来 检验 孟 德 尔 的 遗传 法 则 , 根据 孟 德尔 法 则 , 后 代 中 四 
分 之 三 应 为 绿色 (支配 颜色 ) ,四 分 之 一 应 为 黄色 ( 隐 性 ), 在 880 株 植 物 中 , 植物 学 家 观测 到 639 绿色 
种 子 和 241 黄色 种 子 。 令 有 : 绿色 基因 @ 占 支配 地 位 , HH,: 绿色 基因 不 占 支 配 地 位 , 在 显著 性 水 平 
0. 05 时 判决 假设 的 真 假 。 

(tt 检验) 给 定 两 组 来 自 相 同方 差 的 正 态 分 布 现 实 , 应 用 t 检 验 检测 Hi: jp = pw 对 Hy: pn zj。 

组 1: 





@ 注意 到 若 我 们 判决 假设 不 成 立 , 我 们 还 是 不 知道 哪 一 项 对 判决 负 有 责任 。 
@ 一 种 转移 遗传 特性 的 基因 。 
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一 5.980e -1 -9.290e -1 -8.340e -2 1.020e +0 6.780e -12.890e -1 1.430e -1 -2.060e +0 1.260e +0 
1.670e +0 

组 2: 

6.270e -12.640e +0 1. 530e +0 5.920e -1 1.910e +0 5.050e -17.660e -12.760e -13.070e +0 
8. 550e -1 








7.24 证 明 皮 尔 逊 拟 合 性 检验 中 的 统计 量 V 在 瓦 时 的 期 望 为 瑟 [VI 豆 ] =!-1。 
7.25 证 明 皮 尔 逊 拟 合 性 检验 中 的 统计 量 V 在 五 时 的 期 望 为 B[VIH,] >! -1。 
7.26 考虑 两 方差 同等 性 检验 的 下 检验 , 绘 出 m=8, n=5 时 的 检验 统计 量 对 方差 比 图 形 , 求解 显著 性 水 平 
为 0.05 时 的 判决 域 。 
7.27 从 正 态 集合 已 中 取 m 个 样本 , 从 正 态 集合 已 中 取 nn 个 样本 , 检验 两 个 方差 的 同等 性 。 证 明 当 瓦 为 
真 时 , A 可 以 写成 
(m—1) 人 
A= A(m,n) es) +n)/2 
(1 十 名 让 Ron- F 
其 中 A(m, 7n)A(m+tn) 22。 
7.28 (该 题 与 习题 7.13 相同 , 故 略 去 。) 
7.29 尽管 年 长 者 声明 在 赌博 游戏 中 硬币 是 “公正 的 ”, 但 年 轻 人 在 多 次 损失 后 表示 怀疑 ,他 相信 硬币 是 有 偏 
的 , 即 P[ 正 面 ] = 0.75。 在 50 次 投掷 实验 中 有 35 次 出 现 “ 正 面 ", 15 次 出 现 “ 背 面 ", 在 显著 性 水 平 
0. 05 时 检验 假设 P[ 正面] = 0.75。 
7.30 ”随机 变量 对 的 24 个 观测 值 按 大 小 排序 为 了 < 了 <… < 了 ,估计 30 百分点 。 
7.31 在 25 个 样本 中 求解 中 值 的 98% 置信 区 间 。 
7.32 在 显著 性 水 平 a =0. 05 时 检验 基于 下 列 数据 游程 : 
Pi:S,=| -0.32, 1.05,0.77, 0.23，-0.66，-2.03，-0.82, 1.97，-0.32, 1.12| 
P,:; S,=|3.2, =10.5, =7.7, -2.3, 6.6, 20.3, 8.2，-19.7, 3.2, -11.2} 
判决 S, 和 Ss 是 否 来 自 同一 集合 ? 
7.33 考虑 五 : 集合 Pi 与 集合 P; 相同 对 五, : 集合 不 相同 , 在 显著 性 水 平 a=0.05 时 基于 下 列 数据 游程 。 
Pi:S,=| -2, -6,8,4,2, -4,6,2, -8, -2| 
P,: S,=|3,7,1, -9, -3,5, -7,3,9, -1| 
S! 和 SS, 是 否 来 自 同 一 集合 ?从 你 的 结论 是 否 可 以 说 明 ， 此 游程 是 不 适合 的 ? 
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随机 序列 用 于 对 信号 与 图 像 处 理 、 数 字 控 制 以 及 通信 等 领域 中 的 采样 数据 进行 建 模 , 也 用 
于 对 诸如 经 济 学 变量 、 计 算 机 寄存 器 的 内 容 、 甚 至 简单 如 掷 硬币 ( 伯 努 利 坛 验 ) 、 或 者 计算 机 网 
络 的 某 条 链 路 上 的 数据 包 等 固有 的 离散 数据 进行 建 模 。 在 上 述 每 种 情况 中 , 随机 序列 都 是 从 
用 户 的 角度 对 这 些 数据 源 不 可 预知 的 行为 进行 建 模 。 本 章 将 学 习 随 机 序列 及 其 重要 性 质 。 我 
们 将 会 看 到 , 一 个 随机 (统计 ) 序 列 可 以 看 成 随机 变量 的 无 限 维 向 量 了 了。 因此 随机 序列 介 于 有 
限 维 随 机 向 量 (参见 第 5 童 ) 和 连续 时 间 随 机 函数 之 间 。 连 续 时 间 随 机 函数 被 称 为 随机 过 程 ， 
将 在 下 一 章 讨论 。 

另 一 种 推广 随机 向 量 的 方法 是 将 索引 参数 的 数量 扩展 为 两 个 , 由 此 得 到 随机 和 抢 阵 , 是 在 图 
像 处 理 领 域 非常 有 用 的 数学 模型 。 当 随机 和 矩阵 的 规模 增长 到 无 限 大 , 可 以 得 到 一 个 二 维 的 随 
机 序列 ,可 以 用 于 图 像 和 地 球 物理 学 信号 处 理 中 许多 理论 问题 的 研究 。 虽 然 本 书 不 讨论 图 像 
处 理 , 但 是 随机 序列 的 基本 概念 可 以 推广 到 二 维 情况 。 三 维和 四 维 随机 序列 对 视频 和 其 他 时 
空 信号 的 不 可 预知 属性 进行 建 模 也 非常 有 效 。 


8.1 基本 概念 


在 介绍 这 部 分 的 时 候 , 需要 回顾 并 且 扩 展 第 1 章 中 介绍 的 关于 概率 公理 的 某 些 基础 知识 。 
这 是 因为 现在 必须 经 常 性 地 同时 处 理 无 限 数量 的 随机 变量 , 即 随机 序列 。 这 部 分 知识 的 学 习 
将 从 随机 序列 的 定义 开始 , 然后 举 一 些 简单 的 例子 。 


定义 8.1-1 设 (2,，. 吃 已 ) 为 一 概率 空间 。 令 2。 用 以 [7 ， 引 ] 表 示 建 立 在 序号 集 2 上 
的 样本 空间 人 2 到 复 值 序列 空间 中 的 映射 。 如 果 对 每 个 确定 的 整数 NheZ, [Nn, 2] 为 一 随机 变 
量 , 则 了 [nn, L] 是 一 个 随 (统计 ) 序 列 。 序 号 集 Z 是 所 有 的 整数 ，-% <N < +% ,必要 时 以 0 
填充 。 


图 8. 1-1 显示 了 样本 空间 Q2=|1,…,10| 的 情况 。 可 见 对 于 一 个 固定 的 实验 结果 ZX[n,l] 
是 一 个 普通 的 数值 序列 ， 即 离散 变量 n 的 确定 ( 非 随机 ) 函数 。 通 常 称 这 种 数值 序列 是 随机 序 
列 的 实现 或 一 个 样本 序列 , 记 为 X.[n], 在 不 至 于 混淆 的 情况 下 也 可 简 记 为 xLn]。 图 8.1-1 中 
画 出 了 10 个 样本 序列 , 对 应 于 每 个 实验 结果 上 e 2。 换 个 角度 ,如 果 nn 不 变 , 而 将 ¢ 作为 变 
量 , 则 X[2, 引 是 一 个 随机 变量 2。 因 此 , 所 有 这 些 现实 ( -% <n < +% ) 的 集合 以 及 概率 空 
间 构 成 随机 序列 。 本 文 经 常 但 并 不 总 是 , 将 随机 序列 记 为 和 2 ]。 当 有 必要 明确 样本 空间 2 
中 某 个 实验 结果 “ 时 , 仍然 采用 记号 人 [2 ,5 上]。 注 意 这 里 对 时 间 变 量 nv 用 方 括号 是 沿用 离散 
时 间 信 号 处 理 的 惯例 。 





@ 在 现实 世界 中 , 所 有 序列 都 是 有 限 的 。 但 是 如 果 现 实 世界 的 序列 相 比 其 内 在 相关 性 而 言 足够 长 , 无 限 长 的 序列 模型 基本 
上 是 准确 的 , 除非 所 研究 的 恰好 是 现实 世界 序列 的 开头 或 结尾 部 分 。 
@@ ”概率 论 基 础 教材 中 将 随机 变量 的 独立 同 分 布 序列 记 为 X,(Z) 。 但 是 这 里 的 随机 序列 允许 变量 之 间 的 依赖 性 。 
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X(m ) 





图 8. 1-1 随机 序列 X(n,) 概 念 演示 , 其 中 域 ( 即 采样 空间 2) 仅 包含 10 个 值 
下 面 举 一 些 随机 序列 的 简单 实例 。 


例 8.1-1 (可 分 离 随 机 序列 ) 令 X[n,Y]AX(2)f[n], 其 中 尽 (Z) 是 一 个 随机 变量 , f[n] 
是 一 个 给 定 的 确定 (常规 ) 序 列 。 这 种 随机 序列 是 可 分 离 的 随机 变量 (函数 ) 和 常规 序列 的 乘 
积 。 也 可 以 写 为 XLn] =XJLn], 按照 随机 变量 的 惯例 省 略 实验 结果 Y。 可 以 发 现 所 有 的 样本 
序列 都 是 其 他 样本 按 比例 缩放 的 结果 , 而 比例 因子 即 为 随机 变量 及。 


例 8.1-2 (随机 幅度 与 相位 的 正弦 波 ) 令 XX[n, YAA(2)sin(mmn/10 +O@(V)), 其 中 有 4 
和 为 定义 在 概率 空间 (人 2, .F, P) 上 的 随机 变量 , 也 可 以 写 为 X[n] =Asin(mn/10 +O)。 


这 两 个 简单 的 随机 序列 是 由 确定 性 分 量 构成 的 , 然而 在 其 他 方面 它们 也 是 “确定 性 "的 。 
它们 具有 不 寻常 的 属性 ， 从 概率 论 的 角度 , 它们 未 来 的 取 值 由 当前 和 过 去 的 值 完 全 确定 。 
在 例 8. 1-1 中 ,一旦 观察 到 关 [n] 在 某 个 确定 的 f[Ln] 时 取 值 , 例如 m=0, 则 由 常规 序列 
玫 n] 是 确定 且 已 知 的 , 因而 整个 随机 序列 [nj] 成 为 确定 的 。 可 见 随机 序列 [nj] 在 给 定 其 
n=0 处 取 值 的 情况 下 是 条 件 已 知 的 。 例 8. 1-2 的 情况 稍微 复杂 一 点 ,但 是 用 相同 的 方法 足以 
表明 , 给 定 两 个 ( 非 退 化 的 ) 观测 值 , 例如 在 %=0 和 n=5 处 的 取 值 , 就 可 以 确定 随机 变量 A 
和 @ 的 取 值 ; 序列 X[n] 在 n=0 和 n=5 处 的 观测 已 知 时 成 为 条 件 已 知 或 者 完全 可 预知 的 。 
这 种 确定 性 的 随机 序列 不 能 作为 通信 信道 上 噪声 的 有 效 模型 ， 因 为 真正 的 噪声 可 不 那么 容易 
预知 。 

下 面 的 例子 将 展示 如 何 由 随机 向 量 构造 一 种 更 普遍 、 但 是 仍然 “确定 "的 随机 序列 。 


例 8.1-3 (有 限 支 集 的 随机 序列 ) 设 [7 ,Z] 定 义 如 下 : 
ol 
因为 除了 ne[1, N] 之 外 X[n] =0, 因此 称 了 [n] 是 有 限 支 集 。 由 于 这 种 有 限 支 集 特性 , 可 以 
将 该 随机 序列 建 模 为 一 个 随机 向 量 尺 =[,X,，,…, Xv] ,然后 运用 短 阵 代 数 丰 富 的 计算 方 
法 ， 例 如 协 方 差 矩 阵 和 线性 变换 ， 如 同 第 5 章 所 介绍 的 。 许 多 随机 序列 可 以 采用 这 种 方法 模 
拟 ， 当 然 必 须 考 虑 No 时 不 的 极限 来 对 更 一 般 的 随机 序列 建 模 。 


例 8.14 (随机 序列 的 树 状 图 ) 设 随机 序列 导 [ 刀 ] 定 义 在 刀 0 上 , 而 且 只 能 取 用 个 离散 
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的 值 , 即 0, 1, 2,…, M -1。 进 一 步 假 设 初始 值 固定 为 [0] =0。 那 么 可 以 用 树 状 图 来 表示 
该 随机 序列 的 样本 序列 的 演变 ,在 每 个 节点 N=0, 1, 2，… 的 分 支 数 为 了， 如 图 8. 1-2 所 示 。 





n=0 n=1 n=21 到 树 级 
图 8.1-2 离散 幅度 随机 序列 的 树 状 图 


在 树 的 第 级 , 节点 的 值 是 可 能 的 样本 序列 值 人 [mn]， 其 分 支 标识 为 2=0, …,， M1。 样 
本 序列 由 节点 的 取 值 序列 标识 , 该 取 值 序列 是 从 根 节点 r=0 开始 沿 着 树 的 一 条 路 径 。 如 果 将 
路 径 串 入 记 记 … 表 示 为 有 进 制 数值 0. 记 记 入 …， 那么 可 以 将 这 条 路 径 所 到 达 的 点 称 为 样本 空间 
的 结果 Le[0, 1] =2。 最 后 可 以 用 条 件 概 率 PLX[n] =mil|X[k] 对 于 k<n--1 在 相同 的 
路 径 上 | ] 标识 分 支 ,在 图 8. 1-2 中 记 为 P[i1i_1is,_s…ii0]。 那 么 树 的 n 级 的 任何 节点 值 的 
概率 可 以 由 回溯 到 路 径 上 根 节 点 的 所 有 分 支 概 率 的 乘积 确定 。 注 意 所 有 截止 到 Nn 时刻 一 致 的 


样本 序列 对 应 于 样本 空间 02=[0，1] 中 的 一 个 半径 为 二 M" 的 邻 域 。 


这 个 例子 显示 了 对 于 给 出 了 构成 随机 序列 的 随机 变量 集合 的 概率 分 布 信息 的 情况 , 如 何 
构造 一 个 一 致 的 样本 空间 。 注 意 因 为 所 有 随机 变量 都 是 两 两 独立 的 , 即 联合 独立 , 而且 概率 分 
布 不 随时 间 变 化 , 因此 树 上 的 分 支 标 识 都 是 不 变 的 , 实际 上 , 树 退 化 为 一 级 。 这 种 情况 在 概率 
论 中 被 称 为 离散 独立 分 布 随 机 变量 序列 。 将 之 稍 加 推广 可 以 得 到 以 下 定义 。 

定义 8.1-2 独立 随机 序列 是 指 , 对 所 有 正 整 数 入 ,在 任何 时 刻 nl， ns。，,，…, Nw 的 随机 变 
量 都 是 联合 独立 的 。 

独立 随机 序列 在 我 们 的 理论 中 扮演 着 重要 的 角色 , 因为 它们 相对 易于 分 析 , 是 构成 更 加 复 
杂 且 精密 模型 的 基础 , 而且 利用 计算 机 中 的 随机 数 发 生 器 很 容易 得 到 一 个 近似 的 样本 序列 。 
此 外 , 对 连续 时 间 数 据 采 样 得 到 的 离散 数据 , 如 果 样 本 之 间 的 距离 足够 大 , 统计 独立 往往 是 非 
常 有 效 的 近似 。 

图 8. 1-3 给 出 了 实际 噪声 序列 的 一 个 片段 , 图 8. 1-4 是 其 中 一 部 分 的 特写 ,揭示 了 其 离散 
时 间 本 质 和 精细 的 “随机 性 ” 。 这 个 片段 也 可 以 取 自 噪声 序列 的 任何 地 方 ,而 其 统计 性 质 相 同 。 
这 种 不 一 般 的 性 质 暗示 了 某 种 形式 的 “稳定 性 ”, 后 面 马 上 就 要 定义 (参见 定义 8. 1-5)。 注 意 ， 
产生 此 片段 的 连续 随机 变量 看 起 来 并 不 是 独立 的 。 实 际 上 它们 是 相关 的 , 因此 必须 采用 一 个 
N 阶 概率 分 布 统计 描述 噪声 序列 的 这 个 片段 。 按 这 种 方法 , 将 需要 一 个 无 穷 阶 的 累积 分 布 函 
数 ( CDF) 来 描述 整个 随机 序列 ! 





@ 例如 , 令 M=8, 考虑 八进制 数值 0.1200…0…。 这 表示 X[1] =1, X[2] =2, 之 后 所 有 的 值 都 是 0。 
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0 200 400 600 800 1000 1200 
时 间 n 


图 8.1-3 随机 序列 的 一 个 样本 序列 的 例子 


| 几 是 二 a 出 


0 5 10 15 20 25 30 35 40 45 50 
时 间 n 


图 8.1-4 部 分 样本 序列 的 特写 
为 了 处 理 无 限 长 度 的 随机 序列 , 必须 能 够 计算 事件 的 无 限 交集 ?的 概率 , 例如 事件 | X[n] <5， 
对 所 有 正 的 n| 可 以 表示 为 ;5 |X[n] <51, 或 者 按照 德 . 摩根 定律 ， 用 无 限 并 集 表示 为 
( U2.1 1X[n] >5|)“。 这 要 求 能 够 定义 并 处 理事 件 无 限 集合 的 概率 ,而 这 产生 一 个 有 关 概 率 
测度 公理 3 的 问题 : 也 就 是 对 于 4B = 为 空 集 





PIAUB]= P[A]+PIB] (公理 3) (8.1-1) 
通过 和 迭代 使 用 此 公式 可 以 将 此 结论 推广 有 
N 
PU -于 了 








对 于 任意 有 限 正 整数 N, 假设 A;A; = 由 对 所 有 1i 关 7, 这 称 为 有 限 可 加 。 它 允许 通过 极限 计算 
limw 。P[ Ua-14,], 但 上 面 需 要 的 是 PL U*-i4,], 其 中 4 人 1XL2] >=5|。 对 于 一 般 函 数 ， 
这 两 个 量 可 能 不 一 定 相同 , 即 lmw .。f(Yw) 关 f( limw .=Zv)。 为 了 使 求 极 限 可 交换 ， 需 要 给 





1 ”请 参阅 1.4 节 回 顾 无 限 交集 和 并 集 的 定义 。 此 概念 虽然 简单 , 但 是 经 常 误解。 
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概率 测度 已 引入 某 种 连续 性 。 这 可 以 通过 扩展 或 替换 公理 3, 采用 如 下 更 普遍 的 无 限 (可 
数 ) 可 加 公理 。 
公理 4 (可 数 可 加 性 ) 


到 





Ce 十 ce 
U | = > PLAn] (8.1-2) 
n=1 


=] 
对 满足 A;A; = 中 ,i 沽 7 的 无 限 事件 集合 。 


幸运 的 是 在 称 为 测度 论 (也 可 参考 附录 DD ) 的 数学 分 支 中 , 证 明了 总 是 能 够 构造 满足 
公理 4 的 概率 测度 。 俄 罗斯 数学 家 科 尔 莫 戈 罗 夫 “ , 经常 被 认为 是 现代 概率 论 之 父 , 已 经 证 
明了 , 如果 定义 了 一 种 满足 公理 3 的 概率 测度 P, 即 书 满 足 有 限 加 , 总 是 可 以 扩展 已 使 之 满足 
可 数 可 加 公理 4。 下 面 看 一 个 例子 , 之 后 再 证 明 公 理 4 等 价 于 所 要 求 的 概率 测度 P 的 连续 性 。 
后 面 我 们 将 假设 概率 测度 满足 公理 4, 称 它 们 是 可 数 可 加 的 。 


无 限 长 伯 努 利 试验 


令 Q=|H, TI, 即 有 两 个 实验 结果 变量 i =H, T, P[H] =p, 0<p<1 且 PL[T] =gq41-p。 
定义 随机 变量 WW 为 W(HH) A1l 和 W(T) A0, 表示 掷 硬 币 中 的 胜利 和 失败 。 

令 02, 为 第 n 次 毛 硬 币 的 样本 空间 (0 的 第 个 副本 ), 定义 一 个 新 的 事件 空间 为 无 限 又 
积 D 02, A X702,。 这 对 应 于 无 限 长 掷 硬币 序列 的 样本 空间 , 每 次 掷 硬币 的 样本 空间 为 0,。 
然后 定义 随机 序列 W[n, 5] AW(Z), 由 此 产生 伯 努 利 随 机 序列 W[n], n 三 1。 这 里 结果 变量 
l 由 单 次 测试 的 结果 给 定 , 即 & = [1, 6 …, L，…]。 

考虑 无 限 维 样本 空间 2 的 概率 测度 。 令 4, 表示 第 no 次 试验 的 事件 即 A,, e .多 ,其 中 
.多 是 第 nL 次 试验 的 概率 空间 (0,, . 移 , 已 ) 中 的 事件 域 , 我 们 要 求 x_14， 为 FZ 中 的 一 个 事件 ， 
天 为 Q2, 中 事件 的 o 域 。 为 了 使 此 事件 域 完备 , 必须 为 其 增加 所 有 此 类 事件 的 可 数 交 集 和 并 
集 。 例 如 , 要 计算 以 下 事件 的 概率 

{WI[1] = 1, WI[2] =0}U {Wl[1] = 0, Wl[2] = 1} 
可 以 理解 为 两 个 形式 为 nn*_,14, 的 事件 的 并 集 , 即 |W[1] =1, W[2] =0| = 站 ”14;, 按照 
4 =|W[1] =1|, hs =|W[2] =0| 及 4, =02,, n=3。 则 .元 必须 包含 所 有 此 类 事件 以 满足 完 
备 性 。 为 了 构造 2. 上 的 概率 测度 , 从 形 如 4。= x_14, 的 集合 开始 , 定义 独立 试验 的 情况 
PoolAoo] S ] PLA 
n=1 
然后 利用 公理 4, 以 及 多 的 每 个 成 员 可 以 表示 为 形 如 站 -4, 的 事件 的 可 数 并 集 和 交集 , 将 这 
种 概率 测度 扩展 到 所 有 多 _。。 这 样 理论 上 构造 了 对 应 于 无 限 长 伯 努 利 试验 的 概率 空间 


(02,, 多 ,Ps,), 以 及 相应 的 伯 努 利 随机 序列 
Wiln,l] = W(e,), nz 宇 1 





这 里 的 无 限 义 积 X?-10， 只 是 表示 2 中 的 点 包含 所 有 无 限 长 事件 序列 , 每 个 序列 在 相应 于 某 个 nn 的 02, 中 。 因 此 如 
果 输 出 Ze CQ。 ,那么 Y= (1 ,V2 ,63 ，…) ,其 中 对 每 个 n==1, 输出 Ze 0Q2,( 有 限 长 伯 努 利 试验 的 情况 在 1.9 节 
中 涉及 ) 。 

@ 很 可 能 只 是 一 个 单元 素 事件 , 即 在 这 个 二 元 情况 中 , 只 有 一 个 输出 。 


© 
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已 经 看 到 如 何 为 (无 限 长 ) 伯 努 利 随机 序列 构造 样本 空间 2. ,其 中 实验 结果 < 只 是 无 限 长 
的 “了 和 ”T "序列 。 这 个 W[Ln] 是 我 们 第 一 个 非 平凡 的 随机 序列 的 例子 。 但 是 将 每 个 随机 变 
量 WLn, 才 ] 当 成 构成 样本 空间 (2, 元 素 的 无 限 维 结果 向 量 的 函数 , 看 起 来 可 能 有 点 勉强 。 就 好 
像 把 问题 故意 复杂 化 , 毕竟 WLn,] 只 是 W(Z)。 为 了 表明 这 种 符号 的 复杂 化 是 不 可 避免 的 ， 
可 以 看 看 针对 相关 噪声 通常 采用 的 模型 


X 四 = a Wim, nzl (8. 1-3) 
m=1 
其 中 琵 [%] 是 刚刚 生成 的 伯 努 利 随机 序列 。 为 每 个 实验 结果 《 记录 过 滤 后 的 输出 X[n] 


元 


和 mw 人 = > oar mW(e,) 


m=1 

可 见 每 个 X[n, ] 是 与 分 量 的 数目 持续 增长 ( 随 n) 的 函数 , 也 就 是 说 , X[n] 的 值 依赖 于 
实验 结果 ,Zs，…, L。 如 果 将 处 理 确定 数值 n 作为 一 个 单独 的 问题 , 也 就 是 一 个 独立 
的 样本 空间 和 概率 测度 , 将 会 出 现 仍 未 回答 的 一 致 性 问题 。 实 际 上 需要 应 用 科 尔 莫 戈 罗 
夫 一 致 性 定理 , 来 证 明 我 们 的 结论 与 具有 (无 限 长 ) 实 验 结果 《 的 单个 样本 空间 02。 
一 致 0。 

例 8.1-5 (相关 嗓 声 ) 考虑 式 (8. 1-3 ) 的 随机 序列 ， 且 1al <1。 取 伯 努 利 随 机 序列 W[n] 
作为 输入 , 即 W[n] =1 的 概率 为 p,，W[n] =0 的 概率 为 9 人 1 -D。 和 希望 求 出 每 个 大 于 0 的 了 兄 
对 应 的 耻 [n] 的 均值 。 因 为 期 望 运 算是 线性 的 ,可 以 得 到 


EX} = B{ Swim]) 


= 人 ao" -mE{WIm)} 


m=1 


n n 
Es PD DD 六 QZ 一 7 
m=1 m=1 
Wl (1 — a”) 
ge WM 
=p 2 a™ = i 


m’=0 





由 此 产生 的 随机 序列 耻 [n] 不 是 独立 随机 变量 的 序列 ,通过 计算 其 相关 可 以 看 出 这 一 点 
E{X[2]X[1]} = E{(aWll] + W([2]) WI{1]} 
=ap{W?[l1]} + E{WI[2]}E{WI1)} 
= aD 十 22 
A (a+1l)p = E{X[2]}E{X[1]} 
随机 变量 卫 [2] 和 大 [1] 必 定 是 关联 的 ,它们 甚至 不 是 不 相关 的 。 
但 是 因为 W[n] 是 不 相关 的 ， 所 以 容易 计算 其 方差 | 及 [nn] | 为 





@ 这 里 对 0 ,Ps 用 粗 体 有 点 浪费 , 只 是 为 了 避免 混淆 。 显 然 2 不 同 于 lim 2 。 每 个 Qu 的 结果 要 么 是 | 了 H| , 要么 是 
1T| ,无论 记 变 得 多 大 。 另 一 方面 ,Ce 02, 的 结果 则 是 无 限 长 的 于 和 T 的 串 。 后 面 将 不 再 使 用 粗 体 , 即使 2 是 由 无 限 丸 
积 产生 而 且 其 元 素 (结果 ) 是 无 限 长 的 串 。 
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Var{X[m} = 六 Var {a™ ™Wl[m]} 


= YY om Var {W [ml]} 
m=1 
i oa? 

= G= pa 





此 随机 序列 的 动态 属性 可 以 用 差分 方程 建 模 。 由 X[n -1] = > a “W[m], 得 到 X[n] = 
aX[n -1] +W[n], 此 结果 明确 显示 尺 [n] 依 赖 于 其 令 点 [nn 一 1]D。 因 此 相关 噪声 X[n] 可 
以 由 独立 序列 W[n] 用 图 8.1-5 中 的 滤波 器 生成 。 由 式 (8.1-3) 可 以 看 出 对 于 大 的 n, [nj] 是 
et 因此 根据 中 心 极限 定理 ， 当 1 一 oo 时 将 趋 近 于 高 斯 分 布 ,， 其 均值 为 


p 于 和 方差 为 pq 





XI[n] 





增益 a 
图 8.1-5 由 非 相 关 序列 W[n] 生 成 相关 噪声 [nw] 的 反馈 滤波 右 


零 均值 相关 高 斯 骂 声 可 以 用 相同 的 模型 生成 。 用 W[1] ,，W[2],…,W[n]，… 表 示 零 均 
值 独 立 同 分 布 的 高 斯 随机 变量 , 且 服从 N(0, 0%)， 则 随机 序列 站 [n] = 于 "a""W[m] 是 
零 均 值 高 斯 序列 ， 其 方差 为 


a27 ys 


OW 





Var{X[n]} = - 


一 Q2 
其 中 oa =Var|W[n]|。 同 样 地 ,这 里 由 滤波 器 产生 的 序列 是 相关 的 ,因为 BIX[2]X[1]| = 
abp|W[1]| =ao%#E|X[2]1E|X[1]} =0。 


下 面 的 例子 介绍 用 MATLAB 构造 伯 努 利 随机 序列 , 然后 将 得 到 的 样本 序列 输入 一 个 一 阶 
滤波 器 产生 一 个 (更 真实 的 ) 相关 随机 序列 的 样本 。 


例 8.1-6 (样本 序列 构造 ) 采 用 MATLAB 构造 W[n] 一 个 样本 序列 。 其 MATLAB 程序 为 

u = rand(40,1); 

Ww=0.5 >=u 

stem (w), 
首先 使 用 自 带 的 函数 “rand" 产 生 一 个 40 个 元 素 的 均匀 分 布 的 随机 变量 序列 。 第 二 行 代码 设 
置 向 量 元 素 Ww[n], 若 Uu[n] 宇 0.5, 则 设 为 1, 若 u[n] <0.5, 则 设 为 0。 因 此 w[nj] 是 p=0.5 
的 伯 努 利 随机 样本 序列 。 相 应 的 MATLAB 的 绘图 如 图 8.1-6 所 示 。 

为 了 对 习 [n] 样 本 序列 建 模 , 将 其 记 为 X[n]， 可 以 对 序列 w[n] 用 以 下 滤波 器 进行 
滤波 : 





@ 这 种 公式 中 明确 的 依赖 关系 有 时 被 称 为 直接 依赖 。 
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ZI] = azln — 1) + wln] 
该 滤波 器 具有 冲 激 响应 hh[n] =a”wu[n]， 实现 式 (8. 1-3) 的 线性 运算 。 相 应 的 MATLAB 代码 
段 为 


b= 1.0; 
a = [1.0 -alpha]; 
x = filter(b,a,w); 
stem (x) 


这 里 对 Qa =0.95 且 具 有 400 个 元 素 的 向 量 进行 了 计算 。 图 8. 1-7 显示 了 前 面 40 个 值 的 初 
始 瞬 态 值 。 图 8. 1-8 显示 了 从 =350 开始 50 个 点 的 近似 稳 态 样本 。 


9 
1 8 
0.9 ;3 | 
0.8 | 
0.7 6 | 
0.6 | 5 
Ss 0.5 耻 4 | 
0.4 ee | 
0.3 | 
0.2 . | 
Qa 1 | | 
0 0 
0 5 10 15 20 25 30 35 40 0 5 10 15 20 25 30 35 40 


时 间 轴 请 时 间 
图 8.1-6 伯 努 利 随机 序列 W[n] 的 一 个 样本 序列 wLn] 图 8.1-7 显示 初始 瞬 态 值 的 前 40 个 点 


注意 随机 序列 X[n] 具 有 典型 的 类 似 品 声 的 特 。 12 
性 。 滤 波 器 使 构成 X[n] 的 随机 变量 相关 ， 从 而 使 
样本 序列 x[n] 看 起 来 更 加 “连续 "。 这 个 简单 的 。 “| 
例子 称 为 自 回归 (AR ) 模型 , 在 信号 处 理 中 被 广泛 | | 
用 于 对 噪声 和 信和 号 建 模 。 注 意 前 面 例子 中 的 确定 由 6 
性 缺陷 已 经 不 存在 了 。 这 是 因为 伯 努 利 输入 序列 | 
为 每 个 样本 提供 了 新 的 独立 值 ,确保 了 下 一 个 样 。 | 
本 不 能 由 过 去 的 预测 得 到 。 

0 


5 


0 20 25 30 35 40 45 
概率 测度 的 连续 性 Er 

在 处 理 无 穷 数量 的 事件 时 已 经 发 现 概率 测度 图 8.1-8 从 nw=350 开始 的 50 个 点 的 片段 
Ps 党 有用。 幸运 的 是 ， 所 期 待 的 连续 性 

是 公理 4 具有 可 数 可 加 性 扩展 的 [参见 式 (8.1-2) ] 直接 结果 。 

定理 8.1-1 考虑 事件 B, 的 递增 序列 ， 即 对 所 有 Nn 宇 1， 有 B,CB,,!,， 如 图 8. 1-9 所 示 。 
定义 B。 全 UriBss 则 lim,, ,, PL B, ] =PlB, .|s 

证 明 定义 事件 A 的 序列 如 下 : 
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Mr 


A, SB,B:_), n>1 
则 4, 不 相交 且 对 所 有 NN 有 U14, = Uw-1B,。 同 样 
地 ， 因为 B， 是 递增 的 ， 所 以 By = U1B,。 因此 














N N N 
PLBN] =P (J 5 =P (J An| = >》， PlAnl 
n= 履 寺 和 7 一 1 
以 及 - 
图 8.1-9 递增 事件 序列 示例 
lim PIBw] = lim > Pr] 
元 三 


十 cc 
= 》 PIAn] 根据 极限 和 的 定义 


n=1 


=P U | 根据 公理 4 


n=1 


二 PIBw] 根据 A 的 定义 
最 后 一 步 是 根据 >) 4, = UX Bn 会 六 


推论 8.1-1 令 B, 是 事件 的 递减 序列 , 即 对 所 有 Nn 宇 1, 有 B,DB,,1。 则 
lim RIB,] = PlBss| 





其 中 
Bo EY B, 


n=1 

证 明 与 定理 8.1-1 的 证 明 类 似 , 留 给 学 生 完成 。 

例 8.1-7 令 B,A|X[k] <2,0<k<n|l,n=0,1,2,…。 通 俗 地 讲 ,，B, 是 指定 范围 
内 了 [k] <2 的 事件 。 显 然 B, ,1 是 B, 的 子 集 , 也 就 是 对 所 有 n=0, 1, 2,…，, 有 B,,1CB,,。 同 
样 地 ， 如 果 令 ,A 1X[k] <2, k 宇 0| , 则 BB。 = 站 ”_1B,。 因 此 按照 上 面 的 推论 有 

P[B。] 一 PPBn] 
= lim PILEX[0 < 2……,Xm] < 2] 
因此 ， 上述 推论 提供 了 一 种 计算 包含 无 限 多 随机 变量 的 事件 方法 , 即 通 过 求 包 含有 限 个 随机 变 
量 的 概率 极限 。 这 种 求 极 限 的 方法 在 工程 分 析 领 域 经 常 采 用 ， 而 且 通 常 不 做 清晰 的 解释 ( 即 不 
关注 前 面 所 说 的 一 致 性 问题 )。 本 节 已 经 看 到 这 种 方法 的 正确 性 依赖 于 概率 论 的 一 个 基本 公 
理 ， 即 公理 4( 可 数 可 加 性 )。 

接 下 来 采用 概率 测度 己 的 连续 性 证 明 关 于 累积 分 布 函数 的 一 个 基本 性 质 。 

例 8.1-8 ( 右 连续 ) 累 积分 布 函 数 是 右 连 续 的 ; 也 就 是 说 , 对 于 Fy(X) = 已 [和 (CC) x]( 参 见 
2.3 节 Fi 的 性 质 诞 ),， 有 

lim Fx (z 十 本 = Fx'(x) 
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Bu 人 ex <z+i) 


注意 到 B, 是 递减 事件 序列 , 其 中 B, A NM*_1B, =|L:X(V)<7XI 且 


Bx (: 十 2) 三 PIB 


1 
lim Fx (e+ 2)= 二 lim Pl[Bn,] = P[IB-] 


nD—* 


为 了 证 明 这 一 点 ,定义 


ip 


应 用 推论 8.1-1 可 以 得 到 


随机 序列 的 统计 特性 


一 个 随机 序列 [nj] 称 为 统计 确定 的 ， 如 果 对 所 有 的 N=1, 以 及 n,n+l1, …,n+N-1l 
时 刻 , 其 V 阶 累积 分 布 函数 是 已 知 的 , 也 就 是 已 知 
Fx (zn, Tntly Tnt2 ZnHN1m 7 十 1 n+N—1) 
(8. 1-4) 
= 会 plX [In] < zn, XIn+1] sg rnt XIn+ No1 < rnrN-1) 
其 中 分 号 后 面 的 变量 nn, n+1,…, n +N -1 表示 此 联合 累积 分 布 函数 中 N 个 随机 变量 的 位 置 。 注 
意 对 每 个 阶 数 N, 这 是 累积 分 布 晒 数 的 无 穷 集合 , 因为 必须 知道 在 所 有 时 刻 nn，-% <n < +% 的 联 
合 累 积分 布 函 数 。 为 了 使 表达 更 加 清晰 , 通常 将 联合 累积 分 布 函数 简单 记 为 


Fx (Tny Tntly ,Tn+N-1), 对 于 所 有 7， N 宇 1 (8. 1-5) 
也 可 以 定义 非 连续 时 间 参 数 的 N 阶 累 积分 布 函数 为 
1 


这 种 统计 特性 看 起 来 ee 列 的 完整 描述 存在 一 定 差 距 , 因为 在 有 限 阶 累积 分 布 
函数 的 无 穷 集合 中 没有 一 个 是 随机 序列 的 完整 描述 。 然 而 如 果 确 定 了 所 有 有 限时 刻 的 有 限 阶 
联合 分 布 ， 和 和 用 豚 放 已 闫 寿光 这 的 凡 学 测 其 的 汗 纺 业 可 以 通过 对 有 限 阶 累 积分 布 函数 的 极限 
运算 求 出 包含 无 限 个 随机 变量 事件 的 概率 。 当 然 必须 保证 所 选取 的 N 阶 累积 分 布 函 数 本 身 是 一 
致 的 。 有 时 候 可 能 非常 简单 , 例如 , 组 成 随机 序列 的 所 有 随机 变量 两 两 独立 ， 比 如 说 一 个 伯 努 利 
随机 序列 。 

例 8.1-9 (一 致 性 ) 所 谓 一 致 性 ,是 指 低 阶 的 累积 分 布 函 数 必须 与 高 阶 累积 分 布 函数 吻 
合 。 例 如 仅 考 虑 入 等 于 2 和 3 的 情况 ,必须 满足 

Fx (TnyTn42;n, Nt 2) = Fx (zn,o0, Tn42; n,n 1,n+ 2) 
对 于 所 有 nn 以 及 所 有 XY 和 ww, ,s 的 值 都 成 立 。 同 样 的 N=1 累积 分 布 涵 数 也 必须 与 N=2 一 致 。 
进一步 地 ， 一 致 性 需要 扩展 到 更 高 阶 N 的 情况 。 


一 致 性 可 以 通过 结构 模型 来 保证 , 如 同 例 8. 1-6 中 的 伯 努 利 随机 序列 滤波 后 的 情况 。 如 果 
对 一 个 未 知 源 的 阶 累 积分 布 函数 的 可 疑 集 合 , 事实 上 要 验证 其 一 致 性 将 是 一 件 令 人 望 而 生 
睛 的 工作 。 因 此 在 随机 序列 和 随机 过 程 中 , 构造 模型 扮演 了 非常 重要 的 角色 。 

总 之 , 目前 已 经 看 到 了 两 种 描述 随机 序列 的 方法 : 统计 特征 [参见 式 (8. 1-4) ] 和 基于 随机 
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函数 X[n, 的 直接 描述 。 这 里 “统计 ”是 指 可 以 得 到 先 验 信息 ,至 少 理论 上 , 可 以 通过 估计 
入 阶 (N=1,2,3,…) 累 积分 布 滑 数 来 得 到 , 也 就 是 利用 统计 学 。 

如 果 Fx 可 导 , 则 对 于 每 个 整数 时 刻 ?2 和正 整数 ( 阶 )N, 其 N 阶 概率 密度 函数 (pdf) 可 以 
通过 以 下 方法 计算 : 


Jx(znzn+ ZnHN_17 7 十 1 十 六 一 1) 





上 有 下 ( 交 es 十 1 十 六 一 下 (8. 1-6) 
Or Ornt1 OZ- 
当 仅 考虑 一 个 随机 序列 ， 有 时 省 上 略 下 标 卫 。 同 样 地 , 有 时 也 省 略 时 间 记 号 , 把 fx(%，, wi41，…， 
Wen; ,0+1 ,N+NN 一 1) 简 写 为 雄 (Xi, Xi，… ,Wnrw-1)。 有 时 候 需 要 处 理 复 随 机 变量 
和 随机 序列 。 由 此 , 可 以 用 实 随 机 变量 的 有 序 对 也 = (Xs, Xi) 来 表示 , 通常 写 为 X=Xk +jXi， 
其 累积 分 布 函 数 为 
Fx (XR, XI1) = PIXRr < zr, XI < x1] 
相应 的 概率 密度 函数 为 
OFx (ZR, TI) 
OXROXI 

为 简化 表示 , 后 面 用 x(x) 来 表示 .fx(xa, Xi), 若 随 机 变量 是 复数 , 则 各 自 的 积分 (对 离散 复 
数 是 求 和 ) 是 (Za,， xi) 平 面 上 的 双重 积分 "。 

随机 序列 的 矩 在 许多 应 用 中 扮演 重要 角色 。 部 分 原因 在 于 对 于 一 大 类 随机 序列 (所 谓 的 思 
历 序列 , 将 在 10.4 节 介绍 ), 可 以 根据 唯一 的 样本 序列 方便 估计 。 一 个 随机 序列 的 一 阶 徐 或 均 
值 函数 为 


fx (ZXR, XI) = 


十 ce 
kx ln] = E{X[In|} = | rfx(r;n)dr 


十 co 
| Tn fx (Ln )dzn 


其 中 X[n] 为 连续 随机 序列 。 在 n 时 刻 集合 |z，-% <k< +o 上 的 离散 随机 序列 均值 函 
数 为 
十 co 
ux[n] = E{XIn]} = > zrPIXIn] = zh (8. L127) 


k=—00 


对 于 混合 随机 序列 的 情况 , 与 混合 随机 变量 类 似 , 可 以 方便 地 写 为 


十 co 十 co 
Lx[n| = | ZJx(zim)dz 十 , zkPIX[n| = zk] (8. 1-8) 


大 一 一 ce 


实际 上 , 利用 斯 蒂 尔 切 斯 积分 概念 ,两 项 可 以 按照 累积 分 布 函数 Fx(2; 2) 写成 相同 的 形式 
"十 oo 
Lx[n] = | rdFx(7r;n)o 


随机 序列 在 k 和 两 个 时 刻 取 值 的 乘积 X[K] 对 * [1 的 期 望 值 称 为 自 相 关 函 数 , 自 相 关 喇 
数 是 上 和 ! 的 函数 , 其 中 -s <k, 4< +%，, 则 





Q@” 复 随机 序列 被 用 做 某 些 带 通信 号 和 噪声 的 等 价 基带 模型 。 得 到 的 复数 模拟 值 可 以 用 更 低 的 采样 速率 来 运行 。 
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tt i (8.1-9) 
一 | | TETI fx (Th, TL; k, {drrdz 


当 自 相关 函数 存在 时 (通常 存在 , 但 是 当然 在 某 些 情况 积分 可 能 不 一 定 收 敛 )。 我 们 大 部 分 时 
候 研 究 二 阶 随机 序列 , 定义 为 平均 功率 EI1X[n]1*| <% 有限 , 因此 其 相应 的 相关 函数 总 是 存 
在 。 后 面 将 看 到 , 在 自 相关 函数 定义 中 第 二 个 参数 的 共 轿 可 以 极 大 简化 复 值 随机 序列 。 此 外 ， 
定义 中 心 化 随机 序列 X.[n] AX[n] -pxLn], 其 均值 为 零 , 其 自 相关 函数 称 为 原始 序列 X[n] 
的 自 协 方差 函 数 。 定 义 为 


Kxx[k,l] SE{(X[K] — px lk)(XU) — px ld)*} (8. 1-10) 
直接 从 这 些 定义 注意 到 ,以 下 对 称 条 件 成 立 : 
Rxx[k,l] = RXxll,A] (8. 1-11) 
Kxxlk,!l] = Kxxll, Kk] (8. 1-12) 
其 称 为 埃 尔 米 特 对 称 。 同 时 注意 到 
Kxxlk,l] = Rxxlk,l] — px [kuxld (8.1-13) 


方差 函数 定义 为 ox[n] 4 Kxx[n, n], 表示 X.Ln] 的 平均 功率 。X[n] 本 身 的 功率 已 经 在 
上 面 给 出 , 等 于 Rxx[n, nj]。 
例 8.1-10 ( 例 8.1-1 续 ) 例 8.1-1 给 出 了 X[n] 的 均值 函数 为 
Lx[n] = E{X[n]} = E{Xf[ln]} = kxflal 
其 中 jx 是 随机 变量 下 的 均值 。 其 自 相关 函数 为 
Rxxl[k,!] 三 互 {X[IEX*[I = E{XfIK]X*f*[!)} 
= E{|X|}fFIk]F" 
因此 自 协 方差 函数 为 
Kxxlk,l] = E{IXP FRA LD} — luxl fkF* 
= E{|IX|? — |uxl?}fIkIF* 
= E{|X — xl }IEIA* 
= oxXf[k]f*[)] 
其 中 0 =Var( 尺 )。 可 见方 差 ox[n] 惟 为 oxlf[n]1*。 
在 下 面 的 例子 中 将 研究 一 个 更 符合 随机 性 定义 的 序列 。 
例 8.1-11 (等 待 时 间 ) 考 虑 包含 独立 同 分 布 随 机 变量 7[n](n 宇 1) 的 随机 序列 , 每 个 随 
机 变量 满足 式 (2.4-16) 给 出 的 指数 概率 密度 函数 ,BP 中 
frlt;n) = fr(t) = Aexp(—At)ult), n=1,2,.… 


将 时 刻 即 之 前 的 7[E] 和 定义 为 


TIn] 全 》 7 办 (8. 1-14) 
天 一 工 





@ 注意 入 =1M。 
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然后 将 TLn] (n=1, 2,…) 看 成 另 一 个 随机 序列 。 实 际 上 ,时 间 随 机 事件 的 到 达 通 常 以 
这 种 方式 建 模 。 称 T[n] 为 第 n 个 事件 到 达 的 时 间或 等 待 时 间 , 称 7[n] 为 间隔 时 间 D， 
参见 图 8. 1-10。 

在 第 9 章 将 看 到 重要 的 泊 松 随机 过 程 可 以 通 TIn] 
过 这 种 方式 构造 。 这 里 首先 需要 基于 式 (8. 1-14) I5] 




















的 定义 确定 nn 时 刻 T[n] 的 概率 密度 函数 。 因 TU Ea 
为 rT[k] 是 独立 的 ， 可 以 应 用 式 (4. 7-3) 得 到 
7[7] 的 概率 分 布 函 数 为 指数 概率 密度 函数 的 Ee 
(mn 一 1) 重 卷 积 。 利 用 卷 积 求解 了 [2] 的 概率 密 [a] 
度 函 数 ， 可 以 得 到 7 和 
fr(t;2) = f(t) # fr(t) = Ntexp(—At)ult) | 
将 此 结果 与 指数 概率 密度 函数 再 执行 一 次 卷 积 ， TI 
得 到 
方才 3) = 5A exp(—At)ult) 图 8.1-10 7T[n] 为 到 达 时 刻 , r[m] 为 间隔 时 间 
推广 得 到 一 般 形式 的 Erlang 概率 分 布 函 数 
入 也 一 1 
fr(t:n) = iN ep (Mu?) (8.1-15) 


Erlang 或 gamma 概率 密度 函数 广泛 应 用 于 通信 网 络 中 的 等 待 时 间 问 题 , 图 8.1-11 是 n=3 
和 入 =1.0 时 MATLAB 绘制 的 曲线 , 对 应 于 n=3 个 到 达 事 件 的 等 待 时 间 。 


0.35 


0.3 


aa 


0 1 7 8 身 


4 5 
时 间 轴 上 t 
图 8.1-11 A=1 且 ?2 =3 时 了 rang 概率 分 布 函数 的 曲线 

可 以 利用 数学 归纳 法 证 明 此 密度 函数 的 正确 性 (参阅 附录 A 的 A.4 节 )。 包 含 两 个 步 
又: (1) 首 先 证 明 n=1 时 等 式 成 立 ; (2) 然后 证 明 ， 如 果 等 式 在 有 -1 时 成 立 ， 那 么 在 即时 也 
,必然 成 立 。 结 合 这 两 个 步骤 ， 可 以 证 明 对 于 所 有 正 整数 人 ,此 结果 都 成 立 。 

显而易见 式 (8.1-15) 中 户 ( 旭 1) 是 正确 的 , 接 下 来 假设 在 1-1 时 式 (8.1-15) 是 正确 的 。 
通过 与 指数 概率 密度 函数 卷 积 ， 以 下 验证 在 处 时 也 是 正确 的 : 





D 请 将 7 看 做 大 写 , 类 似 前 面 对 随 机 变量 及 其 取 值 的 区 分 , 即 习 =Z。 


336 概率 、 统 计 与 随机 过 程 ( 第 四 版 ) 


fr(t;n) = fr(t;n— 1)* Aexp(—At) u(t) 


(Nr? 
GD P(At ~ 7))dr u(t) 





t 
= exp( 一 AT) 
0 


"t Tn—2 
过 六 exp( 一 At) 本 二 u(t) 
n—l 


一 和 "exp( 一 At) 





t 
(no—1)! ai 


利用 T[7] 独 立 同 分 布 性 质 ， 可 以 计算 其 均值 为 

prln] = npr = n(1/N) =n/A 
重复 利用 式 (4.3-18) 的 性 质 (A) 计 算 和 TL[n] 的 方差 为 

Var [T[n]] = nVarl7] = mA 


下 面 介绍 电子 、 通 信和 控制 工程 中 应 用 最 广泛 的 随机 模型 : 高 斯 ( 正 态 ) 随 机 序列 。 它 之 
所 以 被 广泛 应 用 , 源 于 两 个 重要 的 事实 : (1) 中 心 极限 定理 (参见 定理 4.7-2) 假 定 许 多 实际 过 
程 是 近似 高 斯 过 程 ; (2) 该 模型 对 于 检测 、 估 计 、 滤 波 和 控制 理论 中 问题 求解 的 数学 处 理 非 常 
简单 。 

定义 8.1-3 一 个 随机 序列 也 [nl] 称 为 高 斯 随机 序列 ， 当 其 入 阶 (和 N 三 1) 累 积分 布 函 数 ( 概 
率 密度 函数 ) 是 联合 高 斯 分 布 。 

注意 到 均值 函数 和 协 方差 函数 确定 一 个 高 斯 随机 序列 同 理 , 均值 向 量 和 协 方差 矩阵 确定 
一 个 高 斯 随机 向 量 (参见 5.5 节 )。 这 是 因为 每 个 N 阶 分 布 函数 恰 为 一 高 斯 随机 向 量 的 累积 
布 函 数 ， 此 高 斯 随机 向 量 的 均值 向 量 和 协 方差 矩阵 可 以 用 高 斯 随机 序列 的 均值 函数 和 协 方差 
函数 表示 。 

例 8.1-12 (配对 平均 数 ) 令 W[n] 为 一 实 值 高 斯 独立 同 分 布 序列 ,对 所 有 n 其 均值 
uw[mn] =0, 其 自 相关 兄 数 Rw[k, 1] =o 6[k 一 l] ,o>0, 其 中 5 是 离散 时 间 冲 激 函 数 

1 
stn] = {a 九 尖 0 
如 果 要 构造 一 个 协 方差 矩阵 ,那么 对 应 一 个 任意 N 个 分 立 样 本 的 向 量 ， 其 协 方差 矩阵 将 是 
对 角 答 阵 。 所 以 按照 高 斯 分 布 特性 , 每 个 NN 阶 概率 密度 函数 可 以 分 解 为 N 个 一 阶 概率 密度 
函数 的 乘积 。 因 此 该 随机 序列 的 元 素 是 联合 独立 的 ,或 者 可 以 称 为 独立 (高 斯 ) 随 机 序列 
(参见 定义 8.1-2)。 下 面 通过 对 W[n] 的 当前 与 之 前 的 值 求 和 来 构造 随机 序列 关 [n]， 即 
XIn] = Wiln] + Win — 1], —00<n<+too 
这 里 及 [n] 的 所 及 阶 分 布 (因为 根据 定理 5.6-1, 高 斯 随机 向 量 的 线性 变换 也 为 一 个 高 斯 向 
量 ) 也 是 高 斯 的 ; 因此 辟 [?] 也 是 一 个 高 斯 随机 序列 。 可 以 非常 方便 地 计算 导 [7 ] 的 均值 为 
uxln] = E{XIN)} = ET + E{WiIn — 1]} 
三 认 
相关 函数 为 
Rxx[lk,!] = E{XIKIXI]} 
= E{(WI[Ik] + WIk—1) (WI + WI 1)} 
= E{WIkWI[]} + E{WI[k]WI — 1]} 
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+ E{W[k— 1WI]}+ E{WIk— 1WIl— 1)} 
= Rwwlk,l] + Rwwlk,l—1+Rwwlk—1l)+ Rwwlk—1,l— 1 
=02(6[k=U]+6k—l+1]+6k l=1+6k=d) 

可 以 在 (E,，1) 平 面 上 绘 出 此 自 相 关子 数 如 图 8. 1-12 所 示 , 可 以 发 现 随 机 序列 卫 [n] 相 关 性 
的 时 间 扩 展 。 

从 这 个 图 形 还 可 以 看 出 ,在 对 角 线 1 = 有 上 的 自 相 关子 
数值 为 20*, 在 对 角 线 1=k+1 上 的 自 相 关 兄 数值 为 0?。 
由 图 8. 1-12 还 可 以 明确 XX[n] 不 是 一 个 独立 随机 序列 。 但 是 
此 协 方差 函数 的 带 状 属性 强调 了 相关 性 在 时 间 上 局 限于 
(一 1) = +1。 除 此 以 外 都 是 不 相关 的 , 又 因为 是 高 斯 的 情 
况 ， 所 以 是 独立 的 随机 变量 。 

例 8.1-13 (随机 游 动 序列 ) 继续 讨论 无 限 长 伯 努 利 试 
验 , 现在 定义 随机 序列 忌 [ 吧 ] 为 在 1 次 试验 中 成 功 ( 人 头 ) 次 
数 的 总 和 减 去 失败 ( 字 ) 次 数 的 总 和 , 取 步 进 值 为 S， 即 

图 8.1-12 例 8.1-12 中 三 对 角 
Xml= >》 WIk] 且 XIol=0 自 相关 函数 的 图 形 


w= 
其 中 定义 W[k] = +s 对 应 于 = 了 H, 而 W[k] = -s 对 应 于 =T。 
由 此 得 到 的 序列 为 整数 上 以 了 [0] =0 为 出 发 点 的 随机 游 动 模型 。 在 每 个 相 邻 的 时 间 单 
元 ,向 左 或 者 向 右 移动 长 度 为 5s 的 一 步 。n 次 重复 之 后 将 处 于 对 应 于 某 个 整数 7 的 位 置 rs。 如 
图 8.1-13 所 示 。 





样本 序列 x[n] 





0 10 20 


30 40 50 60 
时 间 轴 也 


图 8.1-13 步 进 值 s=0.2 的 随机 游 动 X[n] 的 一 个 样本 序列 x[n] 
如 果 有 天 次 成 功 ， 显然 有 (ni 一 kh) 次 失败 ， 则 得 到 以 下 关系 式 : 
rs=ks— (nm—k)s 
= (2k —n)s 
这 表明 k(n+7)/2， 且 7 的 取 值 使 该 式 的 右边 为 整数 。 由 于 [成 功 ] =P[ 失败 ] = 去 ,所 以 有 
P{X[In|=7s} = P[(n 十 7) /2 成功 ] 


Fy (% | 2 "， (n 十 7)/2 为 整数 ,rn 
0, 其 他 
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由 于 XILn] =W[1] +W[2] +…+W[n], 而 且 歼 是 联合 独立 的 ,可 以 计算 随机 游 动 的 均 
值 和 方差 如 下 : 


E{XIn]} = > E{WI[k]} = >_0=0 
= = 
以 及 


E{X?[n]} = >》 E[W?[A]] 
k= 


= > ,0.5[(+s)? 十 (一 s)?] 
k=1 


一 ns? 


如 果 对 耻 [n] 除 以 VN 进行 归 一 化 ， 即 定义 


汪 [n] 全 大 xX 
则 根据 中 心 极限 定理 后 7-2， 可 以 得 到 站 [n] 的 累积 分 布 函 数 收 化 于 高 斯 ( 正 态 ) 分 布 N(0, s?)。 
因此 当即 足 够 大 ,概率 可 以 近似 估计 为 
Ple<Xm] 和 中 = Plavn < XIn] < bVnl| serf(b/s) — erf(a/s) 

但 是 需要 注意 ， 当 此 概率 较 小 时 , 要 求 n 非常 大 以 保持 错误 比例 足够 小 ,因为 累积 分 布 函 数 的 
小 误差 可 能 与 概率 值 相当 。 实 际 上 , 这 意味 着 正 态 近 似 不 依赖 于 分 布 的 尾部 , 而 只 依赖 于 中 间 
部 分 ,因此 被 称 为 中 心 极限 定理 。 

同时 还 要 注意 , 虽然 对 于 任意 而 言 , 如 [1] 不 能 看 成 近似 高 斯 序列 (例如 ， 若 网 为 偶数 ， 
则 及 [nV] 只 能 是 偶数 个 s), 但 是 仍然 可 以 近似 地 计算 概率 


Pl(r— 2)s < XIn|<rs|]=P Cs 
[(m —2)s < X[n] < rs] = 咱 < 到 
r/Vn 


1/Vn(n/2) exp(—7r? /2n) 

其 中 7 相对 于 VN 足够 小 , 1. 11 节 有 类 似 的 结果 。 在 最 后 一 步 的 计算 中 , 假设 被 积 函 数 在 区 间 
[(7-2)/Vn, 7/Vn] 中 近似 为 常量 。 

例 8.1-11 中 的 等 待 时 间 序 列 和 例 8. 1-13 中 的 随机 游 动 序列 都 具有 以 下 特点 ， 即 通过 独立 
的 分 量 以 时 间 累 积 或 通过 增 量 构造 得 到 。 更 一 般 地 , 可 以 定义 独立 增 量 性 质 。 

定义 8.1-4 如 果 对 所 有 整数 参数 1 <n,<… <nw，, 对 于 任意 入 >1, 增 量 序列 X[n]， 
X[ns] -XX[ni],X[ns] 一 [nz],，…, [nw] -X[7avw ii] 是 两 两 独立 的 , 则 称 随机 序列 具有 独 
立 增 量 性 。 

如 果 一 随机 序列 具有 独立 增 量 性 , 则 可 以 按照 增 量 概率 的 乘积 计算 其 N 阶 概率 特性 (概率 
分 布 函数 和 概率 密度 函数 , 参见 习题 8. 10)。 
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与 独立 增 量 的 渐变 特性 不 同 , 许多 随机 序列 具有 恒定 的 统计 特性 , 即 不 随时 间或 长 度 参数 
n 变化 , 如果 情况 是 这 样 的 话 ， 随 机 模型 可 以 从 两 方面 简化 : 首先 模型 是 非 时 变 的 , 其 次 通常 
少量 的 模型 参数 可 以 从 已 有 的 数据 估计 出 来 。 

定义 8.1-5 车 对 所 有 的 阶 数 和 N 和 变化 参数 k(X[n], X[n+1],…,X[n+N-1]) 和 (XX 
[n+tk], XLn+k+l1],…,X[n+k+N-1|]) 的 联合 累积 分 布 函 数 是 相同 的 ,随机 序列 称 为 平 
稳 的 ， 即 对 于 所 有 N 宇 1 

KZ Zn ZnN1i7) 7 十 1 7 十 和 一 1) 
一 ExX(znZnH ZnHNU7 十 大 人 十 1 十 有 有 十 一 1 十 有 人 

对 于 所 有 的 -o <k < +o 和 所 有 2 到 uswis。 当 概 率 密 度 函 数 以 及 对 于 离散 幅度 中 的 概率 
质量 函数 存在 时 ， 此 定义 同样 成 立 。 

回顾 例 8. 1-12, 可 以 发 [nn] 和 W[n] 都 是 平稳 随机 序列 。 例 8.1-11 中 的 间隔 时 间 r[ 7] 
也 是 平稳 的 , 但 是 随机 到 达 或 等 待 时 间 序 列 TLn] 显然 不 是 平稳 的 , 因为 其 均值 和 方差 随时 间 
n 递增 。 

注意 , 平稳 并 不 意味 着 样本 序列 看 起 来 “相似 ”, 甚或 看 起 来 是 “噪声 "了 。 而 且 , 与 数理 统 
计 中 的 平稳 性 概念 不 同 , 这 里 并 不 直接 刻画 随机 序列 实现 的 平稳 性 ， 只 是 用 确定 性 函数 来 刻 
画 ,， 即 累积 分 布 函数 、 概 率 质量 孔 数 和 概率 密度 函数 等 。 

通常 希望 只 基于 随机 序列 的 前 两 阶 的 信息 ， 即 均值 和 协 方差 函数 来 部 分 确定 其 特性 。 
这 已 经 在 第 5 章 对 随机 向 量 的 处 理 中 碰 到 过 。 在 第 11 章 讨 论 信号 处 理应 用 中 的 线性 估计 
时 还 将 碰 到 针对 随机 序列 的 情况 。 所 以 先 定义 一 种 弱化 的 平稳 性 ,只 包含 均值 和 协 方差 
(或 者 相关 ) 函数 。 特 别 地 ， 如 果 这 两 个 函数 都 是 平稳 的 ， 则 称 随机 序列 是 广义 平稳 的 
(WSS) 。 


定义 8.1-6 在 -om <n<+%m 上 定义 的 随机 序列 耻 [n] 称 为 广义 平稳 的 (WSS)， 如 果 : 
(1) 怀 [2 ] 的 均值 函数 对 所 有 整数 丸 ，-o <n < +o 为 常数 ， 即 
pxln] = px 
(2) 对 所 有 时 刻 有 ,1，- o <k, 1< +o 以 及 整数 -oo <Nn < +o， 协 方差 (相关 ) 函数 与 仿 
移 量 N 无 关 ， 即 
Kxxl[k,!l] = Kxxlk+n,l+n) (8. 1-17) 


称 这 种 协 方差 (相关 ) 函数 具有 平移 不 变性 。 若 将 [上 ,1 看 成 时 间 轴 上 两 个 样本 的 群 或 者 
集合 , 则 在 时 间 轴 上 上 下 移动 此 群 ,而 协 方差 函数 不 发 生 改 变 。 当 均值 函数 为 常量 时 , 协 方差 
和 相关 函数 的 平移 不 变性 是 等 价 的 。 否 则 不 等 价 。 对 于 常量 均值 函数 , 可 以 对 协 方差 和 相关 
函数 验证 性 质 (2) 成 立 。 

虽然 所 有 的 平稳 序列 都 是 WSS, 但 是 反 过 来 则 不 成 立 。 例 如 , 即使 一 阶 矩 是 常量 , 二 阶 矩 
是 平移 不 变 的 , 三 阶 矩 完全 有 可 能 随时 间 变 化 , 从 而 不 满足 平稳 性 。 即 随机 序列 是 WSS, 但 不 





加 ”例如 , 假设 通过 掷 一 枚 公平 硬币 一 次 进行 伯 努 利 试验 , 得 到 以 下 随机 序列 : 若 结 果 为 “正面 " 则 XL[n] =1 对 于 所 有 %, 否 
则 了 [nw] = W[2] ， 即 对 于 所 有 为 以 平稳 的 白 噪声 。 显 然 , 样本 序列 看 上 去 差别 很 大 , 但 是 此 随机 序列 显然 是 平稳 的 。 
在 第 10 章 将 讨论 遍历 性 , 通俗 地 说 , 就 是 可 以 由 时 间 平 均 计算 期 望 值 (整体 平均 值 )。 此 时 样本 函数 倾向 于 具有 相同 的 
属性 ， 即 观测 者 在 主观 上 感觉 样本 来 自 相同 的 源 。 
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是 平稳 的 。 为 了 进一步 说 明 这 一 点 , 有 时 可 以 将 平稳 性 看 成 严格 平稳 , 以 避免 与 较 弱 的 广义 平 
稳 相 混淆 。 

定理 8.1-2 所 有 平稳 随机 序列 都 是 广义 稳定 的 。 

证 明 首先 验证 平稳 随机 序列 的 均值 是 常量 。 令 nn 为 任意 值 


二 OO 十 co 


zjfx(z;m)dz = | rfx(z;0)dr = xl0] 


一 Do 


Axim] = E{X[In]} = | 


其 中 因为 fy(X; nL) 不 依赖 于 Nn。 接 下 来 验证 协 方差 函 数 是 平移 不 变 的 ,为 此 先 证 明 相 关 咏 数 
是 平移 不 变 的 
Rxx[k,l] = E{XIk]X*[)]} 
十 cc 十 oo 
一 | | TETI fx (Tk, TdrrdL 


一 cc 


十 oo 十 oo 
3 | | TntkTntif x (Tntk, Tntl) drnt+kdrnt+l © 
一 co vv 一 co 


= Rxx[n + k,n+td 
其 中 因为 fx(w, XYw) 不 依赖 于 偏 移 n, 而 且 Xw; 均 为 哑 交 量 。 最 后 , 利用 式 (8.1-13) 和 均值 函数 
计算 得 到 协 方差 函数 也 是 平移 不 变 的 。 因 为 对 于 任意 WSS 随机 序列 协 方 差 函 数 都 是 平移 不 变 
的 ， 可 以 为 WSS 序列 定义 唯一 参数 的 协 方 差 函 数 进行 简化 

Kxx[m] SE{Xek + m)X*[k]} = Kxx[k+m,k] 
= Kxx [m0] 
同样 地 ， 可 以 简化 相关 函数 。 根 据 两 个 参数 的 相关 函数 ， 重 写 唯一 参数 的 相关 函数 为 
Rxx[m) = Rxxlk+m,k] = Rxxlm,oOl] 


(8. 1-18 ) 


例 8.1-14 (WSS 协 方差 函 数 ) 例 8. 1-12 的 协 方差 函数 是 平移 不 变 的 ,因此 可 以 利用 简 
化 的 公式 记 为 Kx[m] =o*(26[m] +5[ -1] +6[m +1])。 


例 8.1-15 (有 记忆 二 状态 随机 序列 ) 按 如 下 方法 构造 和 大 0 处 的 二 值 (二 元 ) 随 机 序列 
及 [n] 。 对 连续 的 每 个 n( 大 于 0) 以 及 每 个 取 值 , 递归 地 以 菜 个 给 定 的 概率 p(0 <p <1) 设 
X[n] =X[n -1]。 和 否则 以 概率 g 人 1-2D 设 丑 [ 即 ] 为 另 一 取 值 。 令 两 种 取 值 分 别 记 为 Q 和 bb， 
且 初 始 值 X[0] =w。 当 2 =0.5, 则 得 到 伯 努 利 随 机 序列 的 特例 。 当 力 天 0.5,， 则 不 是 一 个 独 
立 的 随机 序列 ， 因 为 Px(Xi1x,_1; n,n -1) 关 Px(X,; n)， 称 随机 序列 是 有 记忆 的 。 为 了 
说 明 这 一 点 ,考虑 了 =1.0 的 情况 则 和 的 值 不 同 于 zi 的 条 件 转移 概率 
Px(w,1x,_1; n,n 一 1) 二 0, 但 是 无 条 件 概 率 Pr(Zu; n) 并 不 受 其 限制 。 实 际 上 , Px(e,; nn) 从 
期 望 值 来 看 并 不 倾向 任何 取 值 ， 因 为 上 面 的 转移 规则 并 不 区 分 取 值 。 因 此 , 至 少 称 们 [nn 一 1] 为 
Nn-1 时 刻 的 状态 是 合理 的 。 实 际 上 ,生成 此 随机 序列 的 规则 可 以 概括 为 图 8. 1-14 所 示 的 状态 转 
移 图 ,其 中 有 向 弧 上 标识 了 从 当前 状态 转移 到 下 一 状态 的 相对 概率 ,这 可 以 很 容易 的 验证 。 这 里 
将 Pp 称 为 保持 概率 。 这 是 在 8.5 节 将 要 研究 的 马尔 可 夫 随 机 序列 的 第 一 个 例子 。 





@@ ”这 里 中 间 两 行 用 到 了 简化 的 记号 。 它 们 一 般 不 相等 , 因为 fx (x ,x1) 和 产 (xtnyxzn) 是 在 两 个 不 同时 间 对 的 联合 概率 密 
度 。 用 完整 的 记号 有 (xi ,x1;k,L) 就 可 以 表示 得 非常 清楚 。 
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下 面 的 MATLAB 源 文 件 可 以 生成 在 Nn 三 1 时 此 类 随机 序列 的 样本 函数 : 
function[w]=randmemseq(p,N,w0,a,b) 
w=a*ones (1,N); 
w(1)=wO; 
for i=2:N 

rnum=rand; 

if rnum <p; 

w(i)=w(i-1); 

else 

if w(i-1)==a; 

w(i)=b; 
else 
w(i)=a; 

end 
end 
stem(1:N,w) 
title(’random sequence with memory’) 
xlabel(’discrete time’) 
ylabel(’level’) 
end 


对 应 于 取 值 b=1, g =0 以 及 不 同 取 值 的 p， 相 应 的 样本 序列 如 图 8. 1-15 至 图 8. 1-17 所 
示 。 注 意 当 2 接近 1 时 , 转移 较 少 。 对 于 接近 0.5 的 p 值 , 会 呈现 较 多 转移 ,， 显示 较 少 的 记 
忆 。 当 p =0 时 则 每 次 都 转移 。 








| 

| 

q=1-p i | 

| 

Ee | 

| 

CC , | 

ID ; | 
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0 | 
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四 二 1 一 万 时 间 轴 症 
图 8.1-14 有 记忆 二 值 随机 序列 的 状态 转移 图 图 8.1-15 初始 值 X[1] =1, 保持 概率 p =0.8 

1 1 
0.9 0.9 
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局 到 04 
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时 间 轴 请 时 间 轴 六 
图 8.1-16 初始 值 X[1] =1, 保持 概 图 8.1-17 初始 值 X[1] =1, 保持 概率 p =0 


率 p =0.5, 伯 努 利 序列 
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例 8.1-16 (有 记忆 随机 序列 的 相关 兄 数 ) 假 设 上 例 中 的 有 记忆 随机 序列 已 经 持续 了 很 长 
时 间 。 下 面 将 说 明 在 这 种 情况 下 , 将 达到 一 个 稳定 状态 , 其 中 两 种 取 值 的 概率 随时 间 恒 定 且 与 
初始 值 无 关 。 这 里 假设 稳定 状态 对 所 有 有 限时 间 成 立 。 根 据 状 态 图 所 显示 的 对 称 性 可 见 ， 必 
然 有 Px(a) =Px(b) =0.5。 现 在 进一步 假设 a =0, b 仍然 是 原来 的 值 ， 考虑 两 个 离散 时 间作 
和 n+k 的 相关 性 如 下 : 
Rxx[n,n+k]= Px(b,b;n,n+t+k) 
=bP(XIn] = bP(XIn+k] = bX[In) = 0) 
= (b2/2) P(X[n +k] = bX[n] = 0) 
其 中 第 一 个 等 式 成 立 的 原因 是 所 有 包含 a 的 项 都 是 零 ， 因为 a =0。 现 在 了 在 时 刻 nn 和 n+k 
等 于 b 的 唯一 可 能 是 在 这 两 个 时 间 点 之 间 发 生 偶 数 次 转移 , 而 此 概率 为 
天 
P{ 偶数 次 转移 } = > ， (7) -pr 
{=0,2,4,… 
会。 
由 此 可 见 这 相当 于 取 “ 成 功 ”=“ 转 移 ”、“ 失 败 ”=“ 不 转移 ”的 伯 努 利 试验 。 因 此 交换 伯 努 利 试 
验 中 p 和 9 的 角色 ,只 是 对 偶数 次 成 功 (转移 ) 的 概率 进行 相 加 。 由 此 可 以 采用 以 下 技巧 近似 
估计 A。 的 值 。 定 义 
大 
4。 人 _ 人 全 (1 —p)'p*—(—1)! 


显然 4A。 -A。 =1, 因为 1 在 4。 中 总 是 取 奇 数 。 同 样 地 ， 注 意 到 


4 = 3 (1) a- 


ll 
Se 
A 
[> 


其 中 第 一 个 等 式 成 立 的 原因 是 在 A。 中 4 总 是 取 偶 数 。 现 在 可 以 看 到 根据 伯 努 利 定理 ， 有 
FEY (7) @ -Dr 
l=0 
= (2p 一] 
由 此 立刻 得 到 A。 =(1/2)[ (2p -1)*+1], 因此 
Rxx[n,n+t+k]= (b2/4) [(2p 一 1 闪 十 1] 
这 表明 XX[n] 是 WSS。 对 于 p>1/2 的 情况 , 该 相关 元 数 可 以 进一步 清楚 地 表示 。 若 定义 aA 
In(2p -1)1, 则 有 
Rxx[k] = ( 妇 2/4) [exp(—a|k|)+1] 
同时 由 于 及 [n|] 的 均值 容易 确定 为 b/2， 可 以 得 到 自 协 方 差 吕 数 
Kxx[k] = (b?/4) exp(—a |k|) 
相应 于 三 种 不 同 取 值 的 六 ,显示 此 类 序列 的 协 方差 函数 的 MATLAB 源 文件 如 下 : 
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function [mcl,mc2,mc3]=markov(b,p1,p2,p3,N) 

mc1=0*ones (1,N); 

mc2=0*ones (1,N); 

mc3=0*ones (1,N); 

for i=1:N 
mc1(i)=0.25*(b"2)*(((2*p1i-1)~ (i-1))); 
mc2(i)=0.25*(b°2)*(((2*p2-1)~ (i-1))); 
mc3(i)=0.25*(b*2)*(((2*p3-1)~ (i-1))); 

end 

x=linspace(0,N-1,N); 

plot(x,mc1,x,mc2,x,mc3) 

title(‘covariance of Markov Sequences’) 

xlabel(‘Lag interval’) 

ylabel(‘covariance value’) 


对 于 p=0.8, 0.5, 0.2 和 b=2 的 归 一 化 协 方差 函数 如 图 8. 1-18 所 示 。 


1 


协 方差 值 








8 10 12 14 


6 
最 大 间隔 


图 8.1-18 不 同 参数 p 取 值 的 协 方差 函数 (点 之 间 用 直线 连接 ) 

这 种 具有 单 步 记忆 的 随机 序列 称 为 马尔 可 夫 (1856 - 1922 ) 随机 序列 。 在 8.5 节 将 深入 讨 
论 这 类 随机 序列 。 同 时 注意 到 例 8. 1-5 所 讨论 的 系统 , 即 X[n] =oX[7 -1 +W[Ln]， 当 
W[n] 是 一 个 独立 随机 序列 时 , 也 显示 了 单 步 记 忆 ， 因 此 也 可 以 看 成 马尔 可 夫 序 列 。 

8.2 节 简 要 回顾 序列 的 线性 系统 理论 , 即 离散 时 间 线 性 系统 理论 。 具 有 足够 基础 的 读者 可 
以 跳 过 这 一 节 。8.3 节 将 应 用 该 理论 研究 随机 序列 输入 线性 系统 的 响应 , 它 在 通信 、 信 和 号 处 理 
和 控制 系统 方面 应 用 广泛 。 


8.2 离散 时 间 线 性 系统 基础 


本 节 介绍 离散 时 间 线 性 系统 的 一 些 基 本 概念 。 然 后 在 下 一 节 扩展 到 随机 序列 输入 和 输 
出 的 情况 。 这 部 分 与 连续 时 间 线 性 系统 理论 非常 相似 , 包括 差分 方程 、 傅 里 叶 变 换 和 拉 普 
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拉 斯 变换 等 内 容 。 在 离散 时 间 理 论 中 的 对 应 内 容 是 差分 方程 、 傅 里 叶 变换 (离散 时 间 信 和 号 ) 
和 2 变换 。 

按照 图 8. 2-1, 一 个 线性 系统 可 以 看 成 输入 
为 无 限 长 序列 xLn], 相应 的 输出 为 无 限 长 序列 


y[n]。 以 公式 表示 这 种 线性 运算 为 oy Ei) YI 
yln] = L{z[n]} (8.2-1) 

其 中 线性 算 子 工 满足 后 面 针 对 离散 时 间 信 和 号 情 ”图 8.2-1 以 x[n] 为 输入 , y[n] 为 输出 的 一 

况 的 定义 。 这 种 表示 看 上 出 好 像 表 明 时 刻 ?7 的 般 线性 系统 L| . | 的 系统 框图 


Xx[nj] 是 唯一 影响 n 时刻 输 出 yLnj 的 输入 。 实 际 上 , 所 有 输入 值 都 可 能 对 任意 时 刻 n 的 输出 
具有 潜在 影响 。 这 是 为 什么 称 工 是 算 子 了 而 不 只 是 一 个 函数 。 下 面 的 例子 将 明确 这 一 点 。 数 
学 家 采用 算 子 符号 yy =L|x| 来 避免 这 种 麻烦 , 但 是 却 使 得 依赖 于 ? 为 (时 间 ) 参 数 的 zx 和 2 的 
函数 比 工 程 化 表示 更 加 容易 混 消 。 

定义 8.2-1 称 算 子 工 的 系统 是 线性 的 ， 当 对 所 有 可 能 的 输入 序列 Xi[n|] 和 ws[n] 以 及 所 
有 可 能 的 标量 增益 w 和 as 都 有 

L {ariln] + a2r2[n]} = aiL{ziln]} + a2L{z2[n]} 

通俗 地 说 , 线性 系统 对 于 加 权 和 输入 的 响应 为 各 个 输出 响应 的 加 权 和 。 线 性 系统 的 例子 

包括 如 下 式 表 示 的 移动 平均 : 
yln] = 0.33(z[ 十 十 z[m] + zn C— 1)), 一 co <Nn<+oo0 
以 及 下 式 表 示 的 自 回 归 : 
yln] = ay[ln — 1) + byln — 2]+ ezln), 0<n<+o0 

其 初始 条 件 为 0。 这 两 个 等 式 都 是 一 般 线 性 常 系数 差分 方程 (LCCDE ) 的 特例 


AT N 
yln] = ary[n — 有 二》 ,brzin (8.2-2) 
k=1 k=0 


例 8.2-1 (差分 方程 的 解 ) 考 虑 下 面 的 二 阶 LCCDE: 
yln] = 1.7y[n — 1]— 0.72y[n — 2] + vlnl (8.2-3) 
其 中 Wy[ -1] =y[ -2] =0 且 w[n] 为 单位 阶 跃 函 数 。 为 了 求 n 宇 0 时 此 方程 的 解 ， 首 先 求解 齐 
次 方程 
yrln]| = 1.7yn[n — 1] — 0.72ynln — 2] 
尝试 Yi[n] =Ar", 其 中 A 和 7 是 确定 性 的 四 ,由 此 得 到 
A(r™ = 1 07 2) =0 
或 
Ar™2(r* = LT 0.72) =0 
由 此 可 见 任 何 满足 特征 方程 
r2 一 1.77 十 0.72=0 





@ 算 子 将 函数 (序列 ) 映射 到 函数 (序列 ) 。 
加 “完整 的 线性 差分 方程 求解 问题 的 讨论 可 以 参阅 参考 文献 [8-5] 。 
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的 7 为 齐 次 方程 的 一 般 解 。 对 本 例 而 言 有 两 个 根 , 分 别 为 71 =0.8 和 和 =0.9。 通 过 线性 登 加 ， 
一 般 齐 次 解 形 如 由 
ynln| 三 417 了 十 42732 
其 中 常数 4 和 As 可 以 由 初始 条 件 确定 。 
为 了 得 到 特 解 ,首先 观察 到 当 7 三 0 输入 序列 ww[n] 等 于 1。 因 此 可 以 尝试 特 解 为 一 个 常 
数 ， 即 按照 标准 方法 
[nl] = BB 九 三 0 


B=1.7B+0.72B=1 


B=1/(1—1.7+0.72) = 1/(0.02) = 50 
更 一 般 地 ,这 种 方法 可 以 修改 以 针对 任意 在 相 邻 时 间 间 隔 [ni, ns -1] 形 如 Cp "的 输入 函 
数 。 只 要 假设 解 的 相应 形式 并 确定 常数 C。 在 这 种 方法 中 , 需要 对 每 个 时 间 间 隔 分 别 求解 差 
分 方程 ， 然 后 通过 把 当前 时 间 段 最 后 的 状态 作为 下 一 时 间 段 的 初始 状态 将 各 个 时 间 间 隔 的 解 
拼接 起 来 。 这 里 演示 了 起 始 于 N=0 的 时 间 间 隔 。 完 整 的 解 为 
y[n] = ynln] 十 pm] 

= A1(0.8)" + A2(0.9)" + 50, n 宇 0 
为 了 确定 Al 和 As, 首先 估计 式 (8.2-3) 在 n=0 和 n=1 处 的 值 , 利用 y[ -1] =y[ -2] =0 结 
合 初 始 条 件 得 到 y[0] =1 和 WIL1] =2.7, 由 此 得 到 线性 方程 

41 十 4 十 50=1 (n=0) 


和 
41(0.8) + A2(0.9) +50=2.7 (n=1) 
写成 矩阵 形式 
1.0 1.0] [4 1 _ [-49.0 
0.8 0.9| | 4 | |-47.3 
解 得 


41| | 32 
a) 
yln] = 32(0.8)” — 81(0.9)" + 50 
如 果 系 统 在 nn<0 时 是 静止 的 , 则 所 有 时 间 的 解 为 
yln]| = {32(0.8) 一 81(0.9) + 50} vuln] 


注意 , 上 例 中 的 LCCDE 为 一 线性 系统 是 因为 初始 条 件 , 即 y[ -1], y[ -2] 为 零 , 通常 称 
为 零 初始 条 件 。 如 果 初 始 条 件 不 为 零 ， 则 LCCDE 不 是 一 个 线性 系统 。 更 一 般 地 , 线性 系统 描 
述 为 如 下 时 变 冲 激 响应 的 人 车 加 态 : 


由 此 对 Nn 三 0 的 完整 解 为 


hln, k] 会 L{6[n — k]} 





Q@ ”因为 两 个 根 在 幅度 上 都 小 于 1, 所 以 该 解 在 时 间 轴 % 上 是 稳定 的 (参见 参考 文献 [18-5 ] ) 。 
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通俗 来 讲 , h[n,k] 表示 系 统 在 ?2 时 刻 对 天时 刻 的 冲 激 响应 。 只 要 将 输入 表示 为 x[n] = 
> x[k]6[n -天 ] 即 可 推导 出 结果 , 然后 利用 线性 特性 得 出 


十 co 
yln| 三 工 | > rlk]oln 一 | 


大 一 一 cc 
十 cc 


= > z[kjL{6In— A]} 


大 三 一 co 


十 co 


二 》， Z[K] hln, k] 


k=—o0 
称 为 线性 系统 的 合 加 和 表示 。 
许多 线性 系统 由 不 变 的 单元 构成 , 对 任何 时 候 到 达 系 统 的 输入 信号 其 响应 是 不 变 的 。 一 
个 线性 系统 对 延迟 ( 移 位 ) 输 入 的 响应 也 仅仅 是 延迟 ( 移 位 ) , 则 称 为 线性 时 不 变 (LTI) ,或 者 
等 价 的 线性 移 不 变 (LSI) 系统 。 更 确切 地 有 以 下 定义 。 


定义 8.2-2 线性 系统 世 被 称 为 移 不 变 的 ,如 对 所 有 整数 移 位 KK，-o <[< +o 都 有 


yn k= 二 工 {zn 十 有]} 对 于 所 有 nn (8.2-4) 

LSI 系统 的 一 个 重要 性 质 是 它们 是 由 卷 积 了 描述 的 , 即 工 是 一 个 卷 积 算 子 

yln] = hln] * xzIn] = zIn] * hln] 
其 中 

十 oo 
h[n| * x[n)] < > hlk]z[ln —&] (8.2-5) 
人 一 一 co 
同时 
hln) a L{6[n]} 


称 为 冲 激 响应 。 相 对 于 时 变 冲 激 响 应 Ln, %] , 硅 线 性 系统 时 不 变 , 则 hln] =hln, 0]。 

通俗 地 , 可 以 说 ( 仅 对 连续 时 间 系 统 ) 如 果 知 道 一 个 LSI 系统 的 冲 激 响应 , 那么 通过 卷 积 
运算 可 以 计算 该 系统 对 任意 其 他 输入 的 响应 。 对 于 离散 时 间 的 情况 , 卷 积 运算 是 求 和 而 不 是 
积分 , 但 是 运算 的 其 他 方面 是 类 似 的 。 

.虽然 只 要 知道 了 系统 的 冲 激 响应 , 理论 上 可 以 确定 任意 输入 的 输出 响应 , 实际 上 卷 积 运算 
可 能 烦琐 上 且 耗 时 。 为 了 简化 计算 , 而 且 促 进 理 解 , 可 以 从 频 域 来 刻画 LSI 系统 。 首 先 定义 序列 
的 全 里 叶 变 换 (FT) 如 下 所 述 。 

定义 8.2-3 离散 时 间 信 和 号 或 者 序列 的 傅 里 叶 变换 定义 为 以 下 无 限 和 ( 若 存 在 ) : 
十 oo 
X(w) = FT {zx[n)]} 全 > znle ie”, —T<w<+T 
(ww) 是 周期 函数 ,周期 为 2m。 傅 里 叶 变 换 的 逆 运 算 为 
+ 
rln| = IFT {X(w)} = 元 | X(w)el "dw 


LL 直 





@ 在 第 3 章 计算 两 个 独立 随机 向 量 和 的 概率 密度 函数 的 时 候 用 过 卷 积 运算 。 
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可 以 看 出 , 序列 的 信里 叶 变 换 及 其 逆 变 换 实际 上 是 我 们 熟悉 的 傅 里 叶 级 数 , 只 是 序列 x 作 
为 傅 里 叶 系 数 , 而 傅 里 叶 变 换 了 充当 了 周期 函数 。 因 此 , 傅 里 叶 级 数 的 存在 性 和 唯一 性 定理 
立刻 可 以 用 于 这 里 的 离散 时 间 信 号 的 傅 里 叶 变 换 。 注 意 频 率 变量 w 有 时 称 为 归 一 化 频率 ， 因 
为 如 果 序 列 xLn] 是 通过 采样 获得 的 , 那么 采样 的 周期 已 经 丢失 。 这 就 好 比 采样 周期 为 7 了 =1， 
恰好 与 傅 里 叶 变 换 (w) 的 频率 区 间 [ -mn，+ 人 Tj 一 致 0。 

对 于 一 个 LSI 系统 ,其 傅 里 叶 变换 尤其 重要 ,因为 复 指 数 是 离散 时 间 线 性 系统 的 本 征 函 
数 , 即 

L{el"} = H(w)elo" (8.2-6) 

只 要 冲 激 响应 函数 及 是 绝对 可 加 的 。 对 于 LSI 系统 , 这 种 绝对 可 加 性 很 容易 验证 等 价 于 有 界 

输入 有 界 输出 (BIBO) 稳 定性 1。 
与 连续 时 间 系 统 定理 类 似 , 傅 里 叶 变换 的 乘积 对 应 于 时 间 ( 空 间 ) 域 的 卷 积 。 


定理 8.2-1 ( 卷 积 定理 ) 卷 积 


yln] = z[n] * hln), 一 co <n<+oo0 


在 变换 域 上 等 价 于 


证 明 
十 cc 


十 ee 
Y(o)= > gmjeio = > (zln] * hln]) eie" 
一 六。 Szlk]jh[n -ke len = 2 > A]hln — kJe—io (nth) 
n k 
访 ， lzlk]le iorhln i kje— ion &)] 
n k 
a > z[kJe—iok (5 hin 一 Heriete ) 
人 


= > zlkle JH(w) 
k 





= X(w)H(w) 
因此 离散 时 间 线 性 移 不 变 系 统 在 频 域 上 很 容易 理解 ,类似 于 连续 时 间 LSI 系统 。 与 连续 时 间 
信号 的 拉 普 拉 斯 变换 相对 应 ,离散 时 间 信 号 有 变换。 其 定义 如 下 所 述 。 
定义 8.2-4 离散 时 间 信 号 或 序列 的 2Z 变换 定义 为 无 限 和 ( 若 存 在 ) 
十 co 


X(z) 人 会 》 zinjz™" (8.2-7) 


其 中 & 为 此 无 限 和 的 绝对 收 伊 域 中 的 复 变 量 。 
注意 X(z) 是 复 变 量 的 函数 , 而 了 了 (w) 是 实 变量 的 函数 。 两 者 的 关系 为 (2) |:-e = 
(w)。 由 此 可 见 , 如 果 Z 变换 存在 , 则 传 里 叶 变 换 只 是 将 Z 变换 限制 在 复 z 平面 的 单位 圆 上 











@ ”如 果 序 列 的 采样 周期 为 7, 则 (实际 ) 角 频率 为 2=w/T。 
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的 特例 。 类 似 于 定理 8. 2-1 的 证 明 , 容易 验证 式 (8. 2-1) 的 卷 积 乘 性 质 对 于 2 变换 同样 成 立 。 
与 连续 时 间 定 理 对 应 , 一 个 LSI 系统 的 冲 激 响应 h[n]j] 的 Z 变换 五 [z] 称 为 系统 函数 。 关 于 离 
散 时 间 信 号 和 系统 更 多 信息 , 可 以 参阅 参考 文献 [8-5 ] 。 


8.3 随机 序列 与 线性 系统 


本 节 研 究 输入 随机 序列 的 线性 系统 。 特 别 是 线性 系统 和 LSI 系统 对 均值 和 协 方差 函数 的 
变换 。 首 先 将 考虑 一 般 的 非 平稳 随机 序列 的 情况 , 然后 针对 特定 的 更 常见 的 平稳 序列 。 本 节 
的 主题 可 能 是 随机 序列 理论 中 应 用 最 广泛 的 概念 。 具 体 应 用 包括 : 在 通信 中 分 析 经 过 线性 滤 
波 器 的 信号 与 噪声 、 在 数字 信和 号 处 理 中 分 析 数 字 滤 波 器 量化 噪声 , 以 及 在 控制 论 中 发 现 输入 扰 
动 对 非 确 定 控制 系统 的 影响 等 。 

第 一 个 主题 是 随机 序列 输入 线性 系统 的 意义 。 问 题 在 于 随机 序列 并 不 仅仅 是 单个 序列 ， 
而 是 以 参数 7, 采样 空间 上 的 一 个 点 (输出 ) , 标识 的 一 簇 序列 。 因 此 对 每 个 固定 的 ,随机 序 
列 只 是 一 个 普通 的 序列 , 线性 系统 可 能 的 输入 之 一 。 因 此 , 当 讨 论 一 个 输入 随机 序列 的 线性 系 
统 时 , 会 很 自然 地 说 对 样本 空间 2 中 的 每 一 个 点 , 输入 相应 的 实现 , 即 样本 序列 x[n] 。 然 后 
考虑 相应 的 输出 y[Ln] 作 为 与 样本 平面 上 的 样本 点 & 对 应 的 样本 序列 D， 从 而 联合 地 定义 输出 
随机 序列 YLn]。 

定义 8.3-1 对 于 随机 序列 卫 [n] 和 线性 系统 L,Y[n] =L|X[n]| 表 示 对 每 个 Ee02， 有 

Yln,d =L{X[n,d} 
等 价 地 , 对 取 自 输入 随机 序列 了 [nn] 的 每 个 样本 函数 xX[n], 设 YyLnj] 为 相应 的 输出 随机 序列 
Y[n] 的 样本 序列 , 即 y[n] =L|x[ln]|。 


这 是 处 理 随机 输入 系统 最 简单 的 方法 。 当 输入 样本 序列 的 "不 规范 "会 导致 困难 , 即 在 这 
种 情况 下 可 能 不 一 定 能 对 每 一 个 样本 序列 都 定义 系统 操作 。 在 “网 上 章节 ”的 第 10 童 将 推广 
该 定义 并 讨论 系统 操作 的 均 方 描述 , 它 避 开 了 这 个 问题 , 但 必然 更 加 抽象 。 

对 于 多 数 情况 很 难 从 线性 系统 输入 的 概率 描述 得 到 输出 的 概率 分 布 。 原 因 在 于 ， 冲 激 响 
应 通常 非常 长 (或 者 无 限 长 ), 所 以 要 求 用 输入 序列 的 高 阶 分 布 来 确定 输出 的 累积 分 布 函数 。 
换言之 , 若 了 [nj] 依赖 最 近 k 个 输入 XL[n]，…, XLn 一 k+1], 则 必须 知道 了 的 k 阶 概率 密度 
函数 以 计算 了 的 (其 至 只 是 一 阶 ) 概 率 密度 函数 。 和 矩 函数 的 情况 稍 有 不 同 。 当 系统 为 线性 , 输 
出 随机 序列 的 矩 可 以 通过 输入 的 等 阶 或 低 阶 矩 计算 得 到 。 部 分 缘 于 此 , 由 输入 的 矩 函 数 确定 
输出 的 矩 函 数 显得 非常 有 趣 。 对 于 实用 并 且 重 要 的 高 斯 随机 序列 的 情况 , 已 经 知道 完整 的 概 
率 描述 仅 依赖 于 均值 和 协 方差 函数 。 实 际 上 , 由 于 线性 系统 可 以 对 无 限 维 向量 构 成 的 输入 序 
列 有 效 地 执行 线性 变换 , 可 以 发 现 如 果 输 入 高 斯 序列 , 则 输出 序列 的 n 阶 分 布 同 样 遵守 高 斯 
定律 。 因 此 当 输 入 高 斯 序列 时 , 确定 输出 的 一 阶 和 二 阶 和 矩 函数 显得 非常 重要 。 


定理 8.3-1 对 于 线性 系统 L 和 随机 序列 耳 [n], 输出 随机 序列 了 [n |] 的 均值 为 
EP{Y[ln]} = L{E{XIn]}} (B81) 


只 是 两 边 都 有 定义 。 





@ 对 于 给 定 攻 ,x[n], y[Ln] 分 别 表示 X[n, t], YLn, 1]。 
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证 明 ( 正 式 ) 因为 工 是 线性 算 子 , 对 每 个 样本 序列 , 记 输 入 输出 对 为 
十 co 


% 四 = > hln, klzlk] 


有 一 一 co 


汪汪 攻 一 hln, Ek]X[k,d] 


大 一 一 oo 


其 中 明确 地 表明 了 实验 结果 《上 。 如 果 对 两 边 执行 期 望 运算 媚 ， 得 到 


五 {7[m] + 三 五 全 ma | 


大 一 一 oo 


现在 假设 可 以 将 算 子 马 移 到 无 限 求 和 的 里 面 , 则 得 到 
十 oo 
E{Yln]}= > hln,kJE{XIA]} 


大 三 一 co 
=L{E{X[In]}} 

这 可 以 写成 

十 co 

pyln] = 》 ANux 因 

k=—00 

也 就 是 输出 的 均值 函数 是 线性 系统 对 输入 均值 函数 的 响应 。 
这 里 有 必要 对 期 望 和 线性 算 子 的 交换 进行 说 明 。 这 并 不 总 是 可 行 的 ! 例如 ,如 果 输 入 具 

有 非 零 均值 函数 而 线性 系统 是 累加 的 , 也 就 是 


十 co 


y[n] = pa rn—k] 


k=0 
则 均值 的 累加 可 能 不 收敛 。 那 么 这 种 交换 就 是 无 效 的 。 在 8.7 节 学 习 随 机 收敛 时 还 会 讨论 这 
一 点 。 到 那 时 会 看 到 一 个 LSI 系统 满足 式 (8. 3-1 ) 的 充分 条 件 是 其 冲 激 响应 [nj] 是 绝对 可 
加 的 。 
式 (8.3-1) 的 一 些 特殊 情况 依赖 于 输入 序列 是 否 WSS 以 及 系统 是 否 为 LSI。 如 果 系 统 为 
LSI 目 输 入 至 少 是 WSS 的 话 , 输出 的 均值 为 


十 cc 


E{Y [nl} = > hln 一 有 MX 
k= 一 00 
现在 由 于 wx 是 常数 , 可 以 将 其 从 求 和 中 移出 来 , 得 到 
E{Y[n]} = 三 > hlk 同和 (8.3-2) 
大 一 一 oo 
= H(z2)|z=1 Kx (8.3-3) 


只 要 于 1 h[k] 1 存在 , 也 就 是 对 任意 BIBO 稳定 系统 (参见 8.2 节 ) 。 
由 此 可 见 ， 在 这 种 情况 下 , 输出 随机 序列 的 均值 是 常数 ,等 于 LSI 系统 的 直流 增益 或 固定 
增益 乘 以 输入 序列 的 均值 。 
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例 8.3-1 ( 低 通 滤波 器 ) 令 具有 以 下 系统 函数 的 系统 低 通 滤波 器 
2 = /Fas ) 
其 中 要 求 |al <1 以 使 设想 的 因果 滤波 器 满足 稳定 性 ( 即 收 化 区 域 为 1zl >1al, 包括 单位 圆 )。 
那么 若 此 滤波 器 的 输入 是 一 个 WSS 序列 ,其 输出 的 均值 为 
E{Y[n]} = H(z)|:=1E{X[n)]} 


= (1+a) hx 
下 面 计 算 算 子 为 工 的 线性 系统 输出 的 协 方差 和 相关 函数 : 
Yln] = L{X[n|} 
引入 输入 和 输出 之 间 的 互相 关 函 数 有 助 于 问题 的 解决 
Rxy[m,n] SE{X[m)Y*[n]} (8.3-4) 
= E{X[m] (L{X[n]})”} (8.3-5) 


现在 , 为 了 分 离 出 算 子 , 引入 算 子 L，, 其 冲 激 响应 为 h" [n, k] ,作用 在 时 间 参 数 k 上 , 将 参 
数 n 看 成 肖 量 。 然 后 记 Ryy Lm, n] =E|lX[mjL;[X*[nj]]|=L;BIX[m]X"[n]|。 同 样 用 
L, 表示 将 7 看 成 常量 , 作用 在 时 间 参 数 m 上 的 线性 算 子 。 算 子 L; 与 线性 代数 中 研究 的 共 斩 
算 子 相关 。 
定理 8.3-2 令 XIn] 和 [nj] 分 别 是 线性 算 子 工 , 的 输入 和 输出 随机 序列 。 令 输入 的 相关 
吕 数 为 Rxx[m, n], 则 互相 关 函 数 及 输出 的 相关 品 数 分 别 为 
Rxy[m,n)| = L;» {Rxxlm,n]} 


和 
Ryyl[m,n] = Lm {Rxy [m,n]} 
证 明 记 
XImY [Im = XIm)L* {xX*[n]} 
= L% {XImX*In]} 
则 


Rxylmn] = E{X[ImlY"[n]} = 本 Km 和 四] 
= Ln{E{XIm)X*[n]}} 
= LL*{Rxxlm,n)} 
由 此 得 出 定理 的 第 一 部 分 。 为 了 验证 第 二 部 分 ,类似 地 将 了 [ 吕 ] 乘 以 了 [nj] 得 到 
E{Y[m]Y*[n]} = 五 {m{ 人 pz 四 二 
= Lm{B{X[m]Y"* [In])}} 
= Lmn{RxY [m,n]} 
将 定理 8.3-2 的 两 部 分 结合 , 可 以 得 到 用 输入 的 相关 函数 表示 的 输出 相关 函数 的 算 子 
表达 式 
Ryyl[m,n)| = Lm{L* {Rxx[m,n)]}} (8.3-6) 
将 其 代入 时 变 冲 激 响应 为 hLn, kj] 的 系统 的 全 加 求 和 公式 , 有 
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十 oo 十 oo 
Ryy[m,m] = > hlm, k] ( 认 ， i) (8.3-7) 
大 一 一 co /一 一 co 


这 里 RxyL m,n] 的 钱 加 求 和 表示 为 
Rxyl[m,n] = LL: {Rxx[m,n]} 


十 ce 


= >》 jwmwdRxxfmd 


1 一 一 ce 


而 RyxLm, n|] 的 到 加 求 和 表示 为 


十 co 
Ryx[m,n] = > hlm,kRxx[k,n) 
k=—o00 
为 了 求 相应 的 协 方差 函数 的 结果 , 注意 到 由 于 系统 的 线性 以 及 式 (8.3-1) ,中心 化 输出 序列 
是 由 于 中 心 化 输入 序列 产生 的 输出 。 将 定理 8. 3-2 应 用 于 零 均值 序列 , 则 对 于 协 方差 函数 ， 
立刻 得 到 


Kxylm,n] = Ln{Kxxlm,n)} (8.3-8) 
Kyylm,n] = Lm{Kxyl[m,n)} (8.3-9) 
和 
Kyy[m = Ln{Li {Kxx[m, nl}} (8.3-10) 
由 此 得 到 下 面 的 倒 加 求 和 
Kyy[m,n] = SS hlm,k] ( 和 ene le (8.3-11) 
k=—o0 1=—o0 


例 8.3-2 (边沿 检测 器 ) 令 YIn] AX[n] -X[n -1] =L|X[n]| 为 一 阶 ( 反 向 ) 差 分 算 子 ， 
参见 图 8. 3-1。 此 线性 算 子 可 用 于 定位 某 些 随机 数据 中 的 脉冲 噪声 峰值 。 输 出 的 均值 为 
BLYin]]=LIELXLn]]} =jxLn] -Ax[7 -1。 互 相关 函数 为 

Rxylm,n| = Ln{Rxxl[m,n)} 
= Rxx[m,n| — Rxxlm,n—1] 
输出 的 自 相 关 函 数 为 
Ryyr[mm] = Lm{RxY [m,n)} 
= Rxy[m,n] — Rxy[m— 1,nl] 
= Rxxlm,n| — Rxx[m—1,n|— Rxxlm,n—1+Rxxlm—1,n—1] 


如 果 输 入 随机 序列 为 WSS， 且 其 自 相 关 函 数 为 


Rxx[m,n] = al™-"l, Oe 
则 上 面 的 例子 可 以 具体 为 
kyln]=0 
Rxy[m,n)| = al™-"| — alm—ntll 
以 及 
Ryy [m,n] = 2al™ 7 — alm—1—n| 一 am 一 2 
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可 见 其 仅仅 依赖 于 7 - 妈 。 因 此 输出 随机 序列 为 WSS， 可 记 为 ( 令 大 =70 -7) 

Ryy[k] = 2alkl — alt—!l 一 alk+1l 
对 于 如 图 8.3-2 给 出 的 输入 自 相 关 函 数 中 w =0.7 的 情况 ,输出 的 自 相 关 函 数 如 图 8.3-3 所 示 。 
注意 , 边沿 检测 器 倾向 于 对 输入 序列 解 相 关 。 


XI[n] 





图 8.3-1 边沿 检测 器 ， 当 XLn]~X[n -1 时 输出 趋 近 于 0, 当 IX[n] -X[n -1]1 较 大 时 输出 也 较 大 


-i0 =8 =8 -=-2 0 2 4 古人 
变换 参数 k 


图 8.3-2 边沿 检测 器 输入 的 相关 函数 , a =0.7 


相关 函数 Rk] 





=0:1 
0170 =8 =6 =4 =2 0 2 4 6 8 10 


变换 参数 
图 8.3-3 反 向 差分 的 相关 函数 RyyLk] (图 中 取 aw =0.7) 
例 8.3-3 (递归 系统 的 协 方差 函数 ) 取 1al <1, 令 
Yln]=aY[ln 1+(1—a)Wln)] (8.3-12) 
其 中 Nn 二 0 且 Y[ -1] =0。 因 为 初始 条 件 为 零 , Nn 宇 0 时 系统 等 价 为 LSI， 因 此 可 以 通过 卷 积 表 
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示 世 ， 其 中 
hln| = (1 — a)a™wuln)] 
这 里 的 hh[n] 是 确定 性 一 阶 差 分 方程 对 应 的 冲 激 响 应 , 即 h[n] 是 以 下 方程 的 解 
hln] = ahln — 1]+ 一 a)olm] 
其 中 6[ nj] 是 离散 时 间 冲 激 序列 。 此 解 很 容易 通过 递归 求解 或 利用 2 变换 D0 得 到 。 代 入 到 
式 (8.3-1) ， 得 到 


DO 


pr 四 = > (1 一 aasuw 攻 一 癌 ， 其 中 hr 四 =0，m<0 
k=0 


将 式 (8.3-8) 和 式 (8.3-9) 应 用 到 本 例 ，, 可 以 得 到 当 aw 为 实数 时 


Ce 


Kwy[m,7] = > (1 一 a)asKww[mm — 上 | 
k=0 
和 
Co 
Kyylm,nl| = > (1 一 a)aKwy [mm 一 /7] 
l=0 
由 此 结合 起 来 得 到 
Kyylm,n) =- (1 — a)?atalKywwlm— ln nA 
=07=0 


现在 假设 输入 序列 本 [%] 的 协 方差 函数 为 
Kwwlmn|=o%Wm—n], m,nz0 
则 输出 的 协 方差 函数 可 按 以 下 步骤 计算 : 


Kyyl[m,n| = 人 -Qa tg 对 m 宇 n 宇 0 
k=0 


n 
a atm-m)(1 a)? Saob, 
»=0 


=a™m "1a)/(l—o)] ow(l—a”t?),， 对 m>n>0 
= [( -oa)/L+o]alm-?lc 和 (一 az2mintonn)+2) ， 对 所 有 m,n 宕 0 
其 中 最 后 一 步 是 由 于 (m,n) 所 要 求 的 对 称 性 。 注 意 项 qa””"”"” “是 瞬 态 的 , 因为 lal <1, 所 
以 当 n 一 % 时 会 逐渐 消失 ,因此 得 到 渐 近 稳 态 解 
1 二 太 


Kyylm,n| = (i5s) oy alm-n| pm 一 oo 


为 移 不 变 协 方差 函数 。 如 果 均 值 函 数 凡 y[n | 也 趋向 于 常数 , 则 随机 序列 了 [n] 称 为 渐 近 WSS。 
在 下 一 节 将 详细 讨论 WSS 随机 序列 。 
除 此 以 外 还 有 另 一 种 求解 方法 , 可 以 取 式 (8. 3-12 ) 的 期 望 直接 得 到 输出 均值 序列 的 递归 





Q@ 对 上 述 方程 的 两 端 取 Z 变换 , 注意 到 冲 激 序列 的 2Z 变换 为 1, 得 到 五 (z) = (1 -a)/(1 -az"')。 然 后 利用 Z 北 
变换 , 即 可 得 到 上 述 h[Ln]( 要 了 解 Z 逆 变换 , 请 参阅 附录 A) 。 
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方程 , 然后 可 以 采用 8.2 节 的 方法 求解 
pyln] =apyln 1+( -opwnl, nz0 
且 有 渐 近 初始 条 件 。 例 如 ,如 果 jy[ -1] =0 且 ww[2] =jw 为 给 定常 数 , 则 解 为 
Wy[n] = (1 — oa™t )pywulnl 

也 可 以 采用 此 方法 计算 输入 和 输出 之 间 的 互相 关 函 数 。 首 先 , 结合 式 (8. 3-12) ,然后 乘 以 
WLm], 最 后 求 期 望 ， 当 a 为 实数 时 

Rwylm,n)| = aRwylm,n—1+(1—a)Rwwlm,nl (8.3-13) 
也 可 以 用 Rwy 直接 求 Rww。 可 以 将 式 (8.3-12) 表 示 为 m 的 函数 得 到 输出 相关 函数 Rjyy 的 偏差 
分 方程 , 乘 以 了 [Ln], 再 求 其 期 望 值 , 则 得 到 

Ryy[m,n] = aRyy[m—1,n|+(1 -a)Rwylm,n) (8.3-14) 
这 两 个 差分 方程 可 以 用 8.2 节 的 方法 求解 ,因为 都 可 以 看 成 一 维 差分 方程 ,其 中 一 个 参数 
为 常 系数 ， 男 一 个 参数 充当 附加 参数 。 因 此 可 以 作为 n 的 函数 对 每 个 连续 的 m 求解 
式 (8.3-13)。 


8.4 WSS 随机 序列 


本 节 将 假设 要 讨论 的 随机 序列 都 是 WSS， 即 


(1) {XIn]} = hx, 为 常量 
(2) Rxx[k+m,k] = E{XIk+m)X*[k]} 
= Rxx[m] 


对 于 二 阶 情形 , 有 E|IX[n]l*| <%。 
平稳 随机 序列 的 自 相 关 函 数 的 一 些 重 要 性 质 列举 如 下 。 它 们 对 于 协 方 差 函 数 也 成 立 ， 因 
为 它们 恰 是 中 心 化 随机 序列 X.[nj] AX[Ln] -px 的 自 相关 函数 。 
1. 对 任意 m1Rx[m]1<Rxx[0] 0, 对 于 [nj] 为 实数 的 情况 , 这 可 以 直接 从 El1XLm] 
-X[0] 上 | 二 0 得 到 , 车 [nj] 非 实数 , 则 可 以 使 用 施 瓦 效 不 等 式 [参见 式 (4.3-15) ] 得 到 。 
2. 1RwyLm]1< VRxxL0]RywL0] ,由 施 瓦 获 不 等 式 导出 。 
3.Ralm] =Rxa[ -m], 因为 RExLm] =E|IX[m +l]X* [人 上 =EIXLLX*[l-m]| = 
E* |X[l-m]X’[l} =Ri[l -m]。 
4. 对 于 所 有 N >0 及 所 有 复数 w ,as,…, av, 必 有 


NN 
> >》, anak RxxX In a k] 三 0 
n=1 k=1 


性 质 4 为 自 相 关 函 数 的 半 正 定性 。 它 是 函数 作为 随机 序列 的 有 效 自 相 关 函 数 的 充分 必要 
条 件 。 通 常 很 难 直接 利用 性 质 4 去 验证 一 个 函数 是 否 为 有 效 的 自 相 关 函 数 。 但 是 , 很 快 将 介 
绍 一 种 等 价 的 频 域 函 数 , 称 为 功率 谱 密 度 , 可 实现 简单 的 有 效 性 测试 。 

对 于 WSS 随机 序列 和 通过 卷 积 描述 的 LSI 系统 的 情况 ， 上 一 节 得 到 的 许多 输入 输出 关系 
将 表现 出 异常 简单 的 形式 。 例 如 , 由 
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十 ce 
Ylnl = 》， hln — Ek]X[k] 


大 一 一 2 
可 以 得 到 
Rxy[m,n)| = E{XIm]Y In|} 


十 co 
一 >， h(n— EkE{X[mX*[Ik]} 


人 一 一 co 


十 co 
>， hn — kJRxx[m—k] 


大 一 一 co 


十 oo 
= 3 Rr[-URxxl(m—n)—JJ， 并 有 1 人 Sk-n 


大 一 一 co 
若 输入 随机 序列 XL2 是 WSS。 因 此 输入 输出 互相 关 函 数 RxyLm, nj] 是 移 不 变 的 , 可 以 利用 
单 变量 互相 关 函 数 Rwy[m] ARxy[Lm, 0] 写 为 单 变量 的 相关 函数 RxxL m] 的 形式 


Rxylm] 一 号 h*[—lRxx Im == 1 


l=—o0 
= h*[—m] * Rxx[m] 
类 似 地 ,回顾 
Ryyln + m,n] SB{Y[n + mY*[n]} 


> h[k]E{X[In + m— A]Y*[n)} 


大 一 一 co 


= >》 hIkRxy[m— 


人 一 一 co 
= hlm]* Rxy[m) 
可 见 输出 的 自 相 关 函 数 也 是 移 不 变 的 , 因此 利用 单 参数 自 相关 函数 RyyLm] ARyy[Lm, 0] 可 以 
得 到 
Ryylm] = hlm] * Rxylm] 
综合 两 个 方程 , 得 到 
Ryylm] = hm] *h*[—m]* Rxx [ml] 
= (hlm]*h’*[—m])* Rxx lm) (8.4-1) 
= g[m] * Rxx lm), 并 且 glml 全 hlm] * h*[—m] 
其 中 g[m] 有 时 称 为 自 相 关 冲 激 响应 (AIR)。 注 意 , 如 果 输 入 随机 序列 是 WSS 且 独 立 , 则 其 
自 相关 函数 将 是 一 个 正常 数 乘 以 5[m], 车 以 此 常数 为 单位 , 得 到 的 输出 自 相 关 函 数 将 等 于 
g[m] 本 身 。 因 此 , g[ mj] 必须 满足 自 相 关 函 数 的 所 有 性 质 , 即 g[1] =9 “| -外 ,对 所 有 7 都 有 
9[0] =g[ 如 , 以 及 半 正 定性 。 自 相关 冲 激 响应 g 仅 依 赖 于 LSI 系统 的 冲 激 响 应 及 , 在 没有 其 他 信 
息 时 , 难以 由 9 唯一 地 确定 及 。 在 天 文学 、 结 晶 学 以 及 其 他 一 些 领 域 , 由 AIR 估计 的 问题 是 
一 个 非常 重要 的 问题 , 被 赋予 了 许多 名 称 , 包括 相位 恢复 和 去 卷 积 。 
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例 8.4-1 《〈 冲 激 响 应 ) 一 般 不 能 由 AIR 计算 冲 激 响应 。 为 了 说 明 这 一 点 , 首先 取 g[ mj] 的 
傅 里 叶 变 换 得 到 G(w) = 五 (w) 有 `(w) =1(w) 1 。 注 意 到 1H(w)1= VG(w)。 因 此 H(w) 
的 相位 在 AIR 中 丢失 ,但 是 其 幅度 保留 了 下 来 。 通 常 存 在 某 些 可 用 的 信息 来 限定 或 确定 相位 ， 
例如 图 像 应 用 中 有 [nn] 的 支 集 , 或 者 时 基 信 号 的 因果 性 。 感 兴趣 的 读者 有 许多 学 术 论 文 可 以 参 
考 ， 如 参考 文献 [8-6]。 
例 8.4-2 (利用 冲 激 响 应 分 析 边 沿 检测 器 的 相关 函数 ) 例 8.3-2 的 边沿 检测 器 的 线性 变换 为 
Y 四 = ZX } 全 Xpm] — XIn—1l 
冲 激 响应 为 h[n] =6[n] -5[m -1] 的 LSI 操作 ,其 自 相 关 函 数 为 尽 er[7] =a”, 其 中 lal <1。 
则 很 容易 计算 其 AIR 为 
g[m] = Am # hl—m] 
= (6 四 ] — élm — I) # (6[-m] 6m — 1]) 
= (6lm] — 6lm—1])*(6m)] — 6lm+1)) 
=6[m] = 56m—1)— 6m+1+ dml 
一 25[m] — dm—1)— 6m+1] 
由 此 ， 对 于 此 WSS 可 以 计算 输出 的 自 相 关 函 数 为 
Ryylm] = glm] * Rxxl[m]) 
= (26[m] = dlm—1]— om+1])*al™ 
=929alml alm olmtll 一 co <m<+to0o 


这 和 例 8.3-2 的 结果 是 一 致 的 , 在 例 8.3-2 中 画 出 了 Qw =0.7 的 图 形 。 
功率 谱 密 度 


功率 谱 密度 (psd) 定义 为 WSS 随机 序列 人 [7] 的 单 参数 离散 时 间 自 相关 函数 的 FT( 参 见 
定义 8.2-3) 


十 oo 
Sxx(o) 全 》” Rxx[mexp(—jwm), —T<w<+n (8. 4-2) 


现 取 式 (8.4-1) 的 FT, 得 到 以 下 由 WSS 随机 序列 激励 LSI 系统 重要 的 psd 输入 输出 关系 : 

Syy(w) = |H(w)|*Sxx(%) = G(w)Sxx(w) (8.4-3) 
其 中 的 几 个 频 域 量 是 离散 时 间 傅 里 叶 变换 。 式 (8.4-3) 是 WSS 随机 序列 理论 的 核心 结论 , 原 
因 在 于 它 使 得 由 输入 psd 和 传输 函数 的 幅度 知识 直接 计算 输出 的 psd 成 为 可 能 。 利 用 IFT, 可 
以 计算 自 相关 函数 如 下 : 


Th , 
Rxxlm] = 1FT {Sxx(w)} = 27 | Sxx(w)e!™dw 


由 此 ,知道 了 psd 也 就 知道 了 自 相 关 函 数 。 
至 于 功率 谱 密度 名 称 的 由 来 , 注意 Rxx[0] =B|1X[n] || 是 X[n] 的 统计 平均 功率 , 因此 
根据 上 面 的 关系 , 可 以 看 出 


1 T+” 
BE{|Xnll?} = Rxxlo] = 上 et 
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因此 psd 在 频率 区 间 [ -mn，+m] 上 的 积分 平均 实际 上 就 是 平均 功率 。 进 一 步 地 , 考虑 WSS 随 
机 序列 XX[n] 输 入 一 个 包含 罕 带 滤波 器 五 (w) 的 LSI 系统 ,其 带宽 2e 非常 小 , 中心 频率 为 w,， 
lo。| <T, 通 带 增益 为 1。 记 Sxx(w) 为 输入 psd, 对 于 输出 统计 平均 功率 , 近似 地 有 


下 Wo 二 EE € 
Ryy [0] | Sxx(w) dw SxXx(w0) 二 


由 此 可 见 Sxx(o) 可 以 看 成 平均 功率 在 频 域 的 密度 函数 。 
一 些 psd 的 重要 性 质 列 举 如 下 : 


函数 Sxx(o ) 为 实数 值 ,因为 Rxx Lm] 是 共 纯 对 称 的 。 

奉 X[n] 是 实 值 随机 序列 , 则 Sxx(w) 是 w 的 偶 函 数 。 

无 论 X[n] 取 实数 值 还 是 复数 值 , 对 任何 w,， 函数 Sxx(w) 二 0。 

. 看 对 某 个 有 限 整数 W >0, 当 I21= 时 都 有 Rxx[Lm] =0( 即 其 具有 有 限 支 集 ), 则 Sxx(w) 
是 w 的 解析 函数 。 这 意味 着 给 定单 个 点 w。 处 的 取 值 及 其 所 有 导数 ，Sxx(w) 可 以 表示 为 
一 个 泰勒 级 数 。 

因为 Sx(w) 是 一 个 ( 自 相 关 ) 序 列 的 傅 里 叶 变 换 , 所 以 它 是 周期 性 的 , 周期 为 2r。 这 是 为 


什么 恢复 自 相关 函数 的 傅 里 叶 反 变换 ,只 在 [ -站 ，+T] 上 求 积分 , 即 其 主 区 间 。 还 可 以 定义 
两 个 联合 WSS 随机 序 多 eR 变换 


WN 


Sxy(w 3 Rxylm|]exp(—jwm,), —T<w<+T 


称 为 随机 序列 了 和 y 之 间 的 互 功率 普 密度 。 通 常 ， 此 互 功率 谱 密度 可 以 是 复数 、 负 数 以 及 非 
对 称 。 其 主要 用 途 是 作为 计算 psd 的 中 间 步 又 。 


psd 的 物理 意义 
根据 其 名 称 可 以 判断 psd 应 该 和 随机 信号 傅 里 叶 变 换 的 振幅 平方 的 某 种 平均 值 有 关 。 因 
为 WSS 随机 信号 X[n] 在 所 有 时 间 具 有 常数 平均 功率 RxxL0], 所 以 不 能 定义 其 FT; 但 是 可 以 
定义 其 变换 量 
XN(w) SE FT{wn[n]X[In]} 


A |1; nl 竺 
wnN[n|] 三 0， 其 他 


由 此 求 幅度 平方 |Xy(w) 1 的 期 望 值 , 并 且 除 以 2N +1 得 到 


+N 
HH TE {XN (0) 全 = J z{ 3 3 X[k]X* ll] exp( Cioy exptrio0 | 


NI=—N 


其 中 用 到 算 形 窗口 函数 


1 +N +N 
-贡生 


+N 十 N 
1 


2N+1 2 2 


+2N 


= 5 Rxxlm (1 aN) ep(-jom) 


m=—2N 
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其 中 最 后 一 行 是 由 于 在 (k, 0) 平 面 中 沿 着 (2N +1) x (2N +1) 点 构成 的 矩形 的 对 角 线 大 -1= 轨 
上 ,Rux[ 丰 -中 为 常数 。 

因为 随 着 lm1 一 w 时 Rx[m]1-0, 对 于 全 里 叶 变 换 ,这 是 保证 Sxx(w) 存 在 的 必然 要 求 ， 
所 以 当 Na， 三 角 函 数 { 1 -33 了 的 影响 越 来 越 微弱 。 实 际 上 ,如 果 假设 1Rx[ m] | 衰减 中 
够 快 , 足以 保证 ”1 mll Rex[m]1<%, 则 有 


i 1 
J = 





TE{IXN(%)|} (8.4-4) 
通俗 地 讲 就 是 , 加 窗 随 机 序列 在 频率 w 上 的 统计 平均 功率 由 功率 谱 密 度 函 数 Syx(w) 确 定 。 注 
意 前 面 没有 提 到 过 随机 变量 5 TIXw(w) 1? 的 方差 ,只 说 过 其 平均 值 收敛 到 psd。 在 学 习 频 


谱 估 计时 (参见 11.6 节 ), 会 证 明 随 着 N 变 大 , 方差 不 会 减 小 , 因此 3 一 1Xw(w) 1 在 取 平 均 


a 1 
之 前 , 不 能 作为 好 的 psd 的 估计 。 在 统计 学 (参见 第 6 章 ) 中 ， 我 们 说 3 二 一 TIXx(w) 【不 是 


Su(w) 的 一 致 估计 。 

例 8.4-3 下 面 是 计算 例 8. 1-16 中 p=0.8, 0.5, 0.2 的 有 记忆 随机 序列 的 psd 的 MAT- 
LAB 源 程 序 。 

function[psdi,psd2,psd3]=psdmarkov2(N,p1,p2,p3)} 

mcl=0xkones(1,N) ; 

mc2=0*ones (1,N); 

mc3=0*ones (1,N); 

for i=1:N 

mci(i)=0.25*(((-1)*(2*p1i-1))~ (i-1));% The (-1)“(i-1) factor shifts the 

spectrum to yield 

mc2(i)=0.25*(((-1)*(2*p2-1))“ (i-1));%han even function of frequency. 

Otherwise 

mc3(i)=0.25*(((-1)*(2*p3-1))“ (i-1));%the highest frequency 

components appear 


end 

x=linspace(-pi,pi,N);hat pi and the lowest at 2*pi. 
psdi=abs (fft (mc1)); 

psd2=abs (fft (mc2)); 

psd3=abs (fft (mc3) ) ; 

Plot(x,psdl,x,psd2,x,psd3) 

title(’Power spectral density (psd) of random sequences with memory’) 
xlabel(’radian frequency’) 

ylabel(’psd value’) 

end 


相应 的 曲线 参见 图 8.4-1。 
例 8.4-4 ”平稳 随机 序列 X[n] 具 有 功率 谱 密 度 Sxx(w) =Nit0(3w/4m), 其 中 矩形 窗 邓 数 0 为 


A |1, Iz|l< 1/2 
人 


要 求 输出 随机 序列 了 [n] 的 psd 为 Syy(w) = 和 Nw(w/T)。 现 给 定 一 LSI 系统 (不 一 定 是 因果 
的 )，, 其 冲 激 响应 为 h[n]。 应 该 使 用 下 面 哪个 冲 激 响应 [ 注意 sinc(Z) Asin(mX)/mx]? 


第 8 章 随机 序列 359 


(a) 2sinc(n/2) 
(b) 3sine((n 一 10)/2) 


(ec) 1.5e-Inlvu[m] 
(d) Im 十 23] — vuln — 2 
(@) (1— Inl)w(n/2) 


有 记忆 随机 序列 的 psd 








“二 :可 0 1 2 3 4 
角 频 率 (w) 


图 8.4-1 三 种 有 记忆 平稳 随机 序列 的 功率 谱 密度 


解 显然 需要 的 是 振幅 为 | 囊 (w) 1 =W(aw/T) 的 转移 函数 百 (w) 。 这 样 立 刻 可 以 排除 选项 
(Cc) 到 (e)， 因为 它们 的 侍 里 叶 交 换 在 任何 频带 都 不 是 常数 振幅 。 因 为 Ww(w/T) 的 IFT 为 


译 sine(n/2)， 所 以 选择 (b)， 因 为 10 个 样本 的 延迟 并 不 影响 其 幅度 为 1H(w) 1。 


表 8.4-1 对 随机 序列 输入 输出 关系 进行 了 有 益 的 总 结 。 
表 8.4-1 WSS 序列 和 线性 系统 输入 输出 关系 


随机 序列 输出 均值 
Y[n] =h[n] *X[n] kr =H(0)px 
互相 关 也 数 互 功率 谱 密 度 


Rxy[m] =RxxLm] *h*[ —m] 
RyxLm] =h[m] * Rxx[m] 
Ryy[m]| =RyxLm] *h* [| —m)] 


Sxy(w) =Sxx(w)H* (w) 
Syx(w) =H(w)Sxx(w) 
Syr(w) =Syx(w)H" (w) 


自 相关 气 数 功率 谱 密 度 
Ryy[m] =h[m] *h’*[ —-m]*Rxex[m] Syy(w) =1H(w) lSxx(w) 
=g[m] * Rxx[m] =G(w)Sxx(w) 
输出 功率 及 方差 


Ell YI[n] I?| = Ry[0] = nd H(w) |?Sxx(w)d(w) 


oy = Ryy[0] - 


7 i 


360 概率 、 统 计 与 随机 过 程 ( 第 四 版 ) 


随机 序列 合成 与 离散 时 间 模 拟 
接 下 来 考虑 如 何 求 出 适当 的 转移 函数 五 (w) 来 产生 具有 指定 psd 或 相关 函数 的 随机 序列 。 
回顾 式 (8.2-2) ,为 方便 起 见 , 这 里 重复 一 下 : 
M N 
yln] = >》， QkV[7 一 天] 十 > pzZ[m — Kk] (8.4-5) 
k=1 k=0 


其 中 的 系数 都 是 实数 。 其 转移 函数 互 (w) 由 下 式 给 出 : 
_Y(w) _ Blw) 





T= = 
bre 到 及 A(wm) A1- 允 ， ,Qare*。 当 输入 功率 为 BE1W[n]1*| =o%, 白 


k=1 


N 


其 中 B(w) 4 工 ”， 
噪声 序列 WLn] ,输出 的 psd Syy(w) 如 下 ;: 
_ Bo)P » _ B(o)B"(o) 
YO A OO 
又 根据 z=e* 时 B(z) AB(w), 以 及 同样 的 定义 A(z)，, 豆 (z), 另外 根据 e* =z 和 B* (e*) 
=B(e*) ,可 以 得 到 具有 实 系 数 ?的 LCCDE 
> 一 1 
Syy(2) = Tio = OH) 和 (8.4-7) 
到 目前 为 止 , z 限制 在 单位 圆 上 。 为 了 进一步 分 析 , 有 必要 将 式 (8. 4-7) 扩 展 到 整个 = 平面。 
最 后 的 一 步 称 为 解析 延 拓 ， 只 是 用 来 求 出 在 单位 圆 z =e* 上 的 取 值 与 给 定 psd 一 致 的 z 
的 有 理 丽 数 。 
给 定 任意 有 理 函 数 Six(z) ， 即 在 有 限 > 平面 上 存在 有 限 个 极点 和 零点 的 函数 ， 通 过 定义 
H(z) 的 单位 加 中 | 1z1 <1| 包含 所 有 的 极点 和 零点 ,可 以 求 出 类 似 式 (8.4-7) 的 谱 分 解 , 而且 
H(z 1) 中 必然 有 所 有 的 极点 和 零点 都 在 单位 圆 外 面 | 121 >1| 。 


例 8.4-5 考虑 psd 





(8.4-6) 





= 
1—2pcosw+p? 





Sxx(w) 有 有 |p| <1 


首先 要 求 扩展 Sr(w) 到 整个 zx 平面 。 由 cosw = 豆 (e 字 Ga) ， 其 可 以 扩展 为 二 (2 七 入 -1 县 


满足 实 值 随机 序列 的 对 称 条 件 Sxx(2) =Sxx(z”)。 因 此 
2 1 
Sxx(2) = WW Ey ml< 中 < 而 








~ (1—pz)(1 一 pz) 
= oWH(z)H(z-!) 





对 于 收敛 域 1p1 <1z1, H(z) = 


“Lo 


1 -pz 





@ 只 有 在 类 似 这 里 的 情况 , 冲 激 响应 的 系数 取 实数 。 这 是 因为 这 里 分 子 及 分 母 的 系数 都 是 实数 。 


第 8 章 随机 序列 361 


因为 lpl <1, 收敛 域 ( ROC) 包含 单 位 圆 , 因此 万 是 稳定 因果 的 。 实 际 上 , 具有 h[n] = 
p"”u[n] 的 系统 将 由 独立 的 序列 产生 Sxx (ww)。 

如 果 单 位 圆 上 出 现 零 点 , 则 其 必然 是 偶数 阶 的 , 否则 可 以 很 容易 证 明 Sxx(e”*) 必然 经 过 零 
点 , 因此 在 其 附近 为 负数 。 所 以 , 可 以 将 一 半 的 零点 分 配给 五 [n], 男 一 半分 配给 H(z” )。 
因为 在 五 [z] 的 单位 圆 中 只 有 极点 , 所 以 它 是 BIBO 稳定 的 。 除 非 在 单位 圆 上 出 现 一 个 零 
点 , 否则 其 道 也 是 稳定 的 。 另 一 方面 所 有 的 极点 都 在 五 (z” ) 的 单位 圆 外 面 ,， 因此 从 非 因果 的 
角度 它 是 稳定 的 。 记 单位 圆 中 极点 幅度 最 大 值 为 pw， 从 而 Sxx(z) 是 解析 的 , 即 在 环形 收敛 
域 | pis <1z1 <1Zpnaax| 中 不 存在 奇异 点 。 

继续 上 述 过 程 , 可 以 得 到 被 白 噪 声 W[%n] 激 励 , 系统 函数 瑟 (z) 将 生成 psd 为 Sxx(w) 的 随 
机 序列 [mn]。 这 可 以 作为 计算 机 上 离散 时 间 模 拟 的 基础 。 白 随机 序列 W[ nj] 很 容易 利用 计算 
机 的 随机 数 发 生 器 得 到 。 然 后 指定 适当 的 初始 条 件 , 接着 利用 系统 函数 五 [nj] 的 LCCDE 递归 
计算 X[n]。 

为 使 了 达到 高 斯 分 布 , 可 以 将 随机 数 发 生 器 的 输出 进行 变换 从 而 使 不 达到 高 斯 分 布 ,该 
分 布 特性 将 传递 到 承 。 经 常 采 用 的 一 种 近似 方法 是 根据 中 心 极限 定理 , 平均 6 ~10 次 随机 数 调 
用 的 值 , 从 而 使 W 接 近 高 斯 分 布 。 如 果 对 一 个 非 高 斯 随机 变量 进行 仿真 , 则 了 和 WW 的 分 布 是 
不 同 的 。 因 此 后 续 的 方法 难以 奏效 。 一 种 可 能 性 是 利用 LCCDE 由 某 些 实 际 的 数据 产生 W[n] 
的 样本 , 然后 在 仿真 中 使 用 此 分 布 的 W[n]。 


例 8.4-6 (匹配 给 定 相 关 值 ) 为 了 仿真 平均 功率 为 Rxx[0] =o ,最 近邻 相关 为 Rxx[1] = 
po 的 零 均值 随机 序列 , 需要 找到 一 阶 随 机 差分 方程 的 系数 以 满足 这 些 值 。 因 此 考虑 


X[n] =aX[n -1+obW lnl (8.4-8) 
其 中 W[n] 是 单位 功率 零 均值 白 噪声 源 。 计 算 其 冲 激 响应 , 得 到 
hIn] = ba™wuln) 
以 及 相应 的 系统 函数 
A b 
Had= 1 —az-! 





由 于 均值 为 零 ,计算 式 (8.4-8) 中 输出 耻 [n] 的 协 方 状 


Kxx[m = hm]* hl—m)]* Kwwlml 
= hlml]*h[—ml 


=b? (aTulm))* (a-™u[—m)]) 





十 oo 
二 六 >》 ， aku [天 ]am+Aea [ma 十 大] 
大 一 一 ce 
十 cc 
一 02am >， a 
k=max(0,—m) 
六 2 
Iml | 
sa ， ce 和 才 天 过 二 eg 
1 一 a2 


从 m=0 和 m=1 处 的 要 求 , 需要 满足 
Kxx[0| =0o*=0/(1— a?) 
Kxx[l] = po? = ab?/(1 一 a2) 


362 概率 、 统 计 与 随机 过 程 ( 第 四 版 ) 


由 此 
a=p 和 妇 =co2(l--p2) 
为 计算 最 终 的 psd， 需 利用 式 (8.4-4) ， 得 到 


b2 
Sxx(w) = Eo 
o2(1 = p?) 





~ 1—2pcosw+p 


例 8.4-7 (抽取 与 内 插 ) 令 [nn] 为 WSS 随机 序列 。 考 虑 在 许多 信号 处 理应 用 中 采用 的 
抽取 和 内 插 操 作对 其 平稳 性 和 psd 的 影响 。 


抽取 


令 Y[n] AXL2n], 称 为 因子 2 的 抽取 , 即 丢弃 每 

个 索引 为 奇数 的 样本 和 [2 ] (如 图 8.4-2 所 示 )。 很 容 

易 计算 均值 函数 jy[n]j AElY[n]} =ElX[2n]| = 
KxL2n] =jx 为 常数 。 对 于 相关 函数 

Ryylni+ m,n] = E{X[2n + 2m]X*[2n]} 3 4 





Y[m] 


= Rxx [2n 十 2mm,27] 
= Rxxl2m] 图 8.4-2 在 抽取 中 [nj] 每 两 个 值 丢弃 一 个 
可 见 原 随机 序列 [nj] 的 WSS 性 质 在 抽取 随机 序列 中 得 以 保留 。Y[%] 的 psd 可 以 如 下 : 


十 cc 
Syy(w) 人 六 Ryy [ml|exp [一 jw7m] 


十 co 
一 >， Rxx[2ml| exp [— jwml 
mm 二 一 O00 
= > Rxxl[m]exp [-j3m| = > Rxxlml]exp [im (—1)™ 
2 2 
m 为 偶数 m 为 偶数 


必 


现 定义 A。 A Sw(w), A。 A 下, yawRm[mjexp|[ -j 久 m]。 则 显然 4。+A4。 = Sx (多 及 





4 -4。 =Six( 呈 ,由 此 可 得 


srr(w = sxx () + sxx (3)| 
其 表现 为 高 频 分 量 的 衰减 。 
内 插 
对 于 因子 2 的 内 插 ,需要 做 与 抽取 相反 的 事 。 首 先 通过 下 式 进 行 扩展 : 


3 全 人 
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因为 零 值 的 插入 , 得 到 的 扩展 随机 序列 显然 是 
非 平稳 的 , 如 图 8. 4-3 所 示 。 形 式 上 , X.[n] 的 ee 
psd 不 存在 ， 因 为 psd 只 对 WSS 序列 (参见 0 1 2 
图 8.4-4) 有 定义 。 对 于 一 大 类 称 为 周期 平稳 
(参见 9. 6 节 ) 的 随机 序列 和 随机 过 程 0， Nota 
X,[n] 即 属于 此 列 ， 都 会 碰 到 这 种 问题 。 这 种 SEE n 
序列 可 以 方便 地 转化 为 WSS， 只 要 对 起 始 时 
间 随 机 化 然后 对 起 始 时 间 取 平均 [参见 图 8.43 在 内 插 中 , 扩展 步 又 在 [nj] 序列 的 相 
式 (9. 6-1) ] 。 但 是 这 里 要 利用 式 (8.4-4) 计 算 邻 值 之 间 插 入 零 值 ,得 到 扩展 序列 X,[ n] 
功率 谱 密度 ， 且 对 于 周期 平稳 波形 也 可 以 采用 。 由 此 ， 

| 


Ef{lYn(w)|*} 一 ?| 3 Xelnje ie"n 


n=—N 
目 取 Nw 时 妞 | IX (w) A(2N +1) 的 极限 。 这 可 以 看 成 随机 序列 X,[nj] 的 psd, Sxx (ww)。 
知 进一步 化 简 并 假设 RxxlLm ] 是 绝对 可 加 的 , 则 Sxx (ww) = 地 Sm(20)。 对 于 扩展 步骤 的 深入 
讨论 , 可 参考 习题 8. 58 和 习题 8. 59。 











— 夏 T 一 石 ”一 人 /2 7/2 T 


(a) (b) 
图 8.4-4 (a) 原始 X[nj] 的 psd; (b) X。[nj] 的 psd( 未 按 比 例 )。 注 意 功率 谱 密 度 从 第 二 周期 泄 
漏 到 主 周期 ,定义 在 [ -mw/2,m/2] 上 的 理想 低 通 滤波 器 可 以 消除 第 二 周期 信号 的 影响 
接 下 来 将 .[n]，, 有 时 称 为 X[n] 的 过 采样 版 本 输入 到 带宽 为 [ -如 ，+ 台 |, 通 带 增益 为 
2 的 低 通 滤波 器， 产生 “理想 的 ”内 插 输 出 Y[n] 为 
Yl[nl] a hin| * Xeln] 


此 滤波 噩 的 冲 激 啊 应 为 
Sin(mm/2) 
hln| = pa 
由 此 
0 —k)r/2 
可 =- 盖世 <A] (nC—k)r™/2 
sin(n — 2k)™/2 
= (nn — 2k)™/2 
首先 计算 YLn] 的 均值 函数 





Q@ ”随机 过 程 是 第 9 章 将 要 讨论 的 连续 时 间 随 机 波形 。 
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大 sin(7 — 2k)™/2 
a{ ba (n — 2k)™/2 


大 一 一 cc 
加 Rs ,Sin(n — 2k)™/2 
2 px A] (n — 2k)™/2 


十 oo : 
sin(n — 2k)™/2 
“Pu 和 (n — 2k)n/2 


最 后 一 步 是 因为 wx 是 常数 。 利 用 采样 定理 可 以 证 明 无 限 和 为 1, 因此 jy[n] =wr。 为 此 , 记 
任意 带 限 函 数 g(t) ,采样 周期 了 =2 的 采样 定理 表示 为 


十 co a 
sin(t — 2k)™/2 
g(t) = oC Ry (8.4.9) 


接着 只 要 在 带宽 为 零 的 带 限 函数 9g(t) =1 中 选择 t=n，, 即 可 得 


十 co 。 
1 二 人 sin(n — 2k)™/2 


于 (n — 2k)™/2 





为 方便 后 面 引用 , 定义 h(t) A 为 了 求 相关 函数 , 进一步 计算 


Ryy[ni+m,n) = E{YIn 二 7 YI]} 


Py E{X[ki]X* [ko]}hln t+ m — 2ki]hln — 2k2] 


ki1i,k2=—00 
= >》 RPRxxl >》 hn+t+m—h— lhnt+l— /2 
作 1 二 偶数 /2 三 偶数 
+ 》 Rxxla] > hlnt+m—h llhlnt+l— 
11 王 奇数 12 一 奇 数 


其 中 疙 人 一 ko, ls 人 be +kz 以 及 1 + 为 偶数 。 可 以 令 式 (8.4-9) 中 g(t) = 及 (t 且 令 上 = 计 
算 其 和 


> hin+i+m—l lhlnt+l om 12] 
/2 一 偶数 或 奇数 


可 以 看 到 求 和 结果 , 无 论 对 偶数 还 是 奇数 , 都 等 于 h[Lm -24 ]。 因 此 


RERyyr[m +7,m] = Ryylm| = > Rxxlli]hlm 一 20] 
1 


由 此 可 见 Y[n] 是 WSS, 且 Ryy[m] 是 Rxx[m] 的 内 插 , 即 
Ryyl2m| = >》, Rxx[lilhl2m 一 20] 


1 


= Rxx[2m] 
且 由 此 计算 psd 如 下 : 
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Syy (w) 二 >， Byry[mje im 


mm 


二 > > Rxx[lilhlm — 2l]e em 


mm 11 


一 2 Rxxlll 》 hlm 一 2l]e ie™ 
ai 


m 


去 ， Rxx [a]H(w)e 20 
a 


= H(w)Sxx(2%) 


2Sxx(2o)，lw| < 7/2, 
郑 T 
0, 可 < |w| 科 区 


8.5 马尔 可 夫 随 机 序列 


我 们 已 经 见 过 一 些 马尔 可 夫 随 机 序列 的 例子 。 这 种 序列 有 时 通俗 地 称 为 有 记忆 的 或 者 有 
状态 的 。 接 下 来 进一步 明确 这 些 概念 。 首 先 给 出 定义 。 
定义 8.5-1 (马尔 可 夫 随 机 序列 ) 
(2a) 连续 马尔 可 夫 随 机 序列 卫 [n]， 对 nn 宇 0, 满足 以 下 条 件 概率 密度 表达 式 : 
人 

对 所 有 如 ，…，2，2， 1 >0， 以 及 所 有 整数 大 三 1 都 成 立 。 

(b) 离散 马尔 可 夫 随 机 序列 慎 [ 妈 ] ,对 Nn 宇 0, 满足 以 下 条 件 概 率 质 量 函 数 表 达 式 : 
Px (TntklTn,:.:, To) = Px (Tntk|Tn) 


对 所 有 %o， yy Ws Vases WS0, 以 及 所 有 [三 1 都 成 立 。 


对 于 k=1, 即 单 步 的 情况 ,， 上述 条 件 都 成 立 则 是 充分 的 ，, 因为 一 般 的 性 质 可 以 由 此 构造 。 
离散 马尔 可 夫 随 机 序列 也 称 为 马尔 可 夫 链 , 将 在 下 一 节 讨 论 。 这 里 考虑 连续 取 值 的 情况 。 
为 了 检验 马尔 可 夫 概 念 的 内 涵 和 意义 ,考虑 随机 序列 XX 的 入 阶 概率 密度 函数 
fx(wn, Wn-1，…,%o)，, 反复 利用 条 件 可 以 得 到 概率 的 链 式 规则 
Jx(zozl ZN) = fx(To)fx (zilro)fx(z2|7T1, 70) :+ fx(TNITN-1,..*,T0) (8.5-1) 
将 基本 的 单 步 (k =1) 马尔 可 夫 定 义 代 入 该 式 , 得 到 


fx(zolzl ZN) = fx (zo)fx (Tilzo)fx (Tol71) .fx (TN|ITN-1) 


N 
= fx(zo) [I fx (zrlzr-) 


k=1 
下 面 举 两 个 满足 高 斯 分 布 的 连续 马尔 可 夫 随 机 序列 的 例子 。 
例 8.5-1 (高 斯 马尔 可 夫 随 机 序列 ) 令 习 [n] 为 对 nn 三 1 有 定义 的 随机 序列 ， 初 始 概率 
密度 为 
fx(x;0) ST N(0,02) 
其 中 oo >0， 转 移 概率 密度 为 
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jx(zna|zn 1 人 一 工 祥 (pz tc) 


其 中 lpl <1 且 ow >0。 需 要 确定 也 [rn] 在 任意 Nn 三 1 及 其 后 续 时 间 的 无 条 件 概 率 密 度 。 
一 般 地 ， 需 要 从 初始 密度 通过 积分 [参见 式 (2. 6-84) ] 递 归 地 计算 
十 ooc 

fx(z;n) = | fx(rle;n.no—1)fx(t:n— 1)d (8.5-2) 
对 7 =1,2, 3。 但 是 在 本 例 中 ,已 经 知道 无 条 件 一 阶 密度 是 高 斯 的 ， 因 为 式 (8.5-2) 中 的 每 
个 概率 密度 函数 都 是 高 斯 的 , 而 且 高 斯 密度 在 这 种 情况 下 “再 现 自 身 ”; 也 就 是 ,两 个 指数 
函数 的 乘积 仍然 是 指数 函数 。 因 此 概率 密度 函数 户 (Z; Nn) 由 前 两 个 时 刻 确定 。 首 先 计 算 其 
均值 通 数 

Lx[n]| = E{XIn]} 
= EIE{XInJIXIn —1])] 


= ElpX[n— 1]| 
= phxln— 1 
其 中 外 面 的 期 望 是 对 X[n 一 1] 的 值 求解 。 由 此 得 到 递归 方程 
Lx[n] = puxln 一 并， 7 过 1 


具有 预先 给 定 的 初始 条 件 jwx[0] =0。 由 此 对 所 有 n, jx[n] =0。 
同样 也 需要 求 方差 隐 数 ox[n]， 在 本 例 中 恰 为 EE[X*[n]]， 因为 均值 为 0。 计 算得 到 
E{X*[n]} = E[E{X*[n]|X[In 一 1 
= EloWw +p°X’[In— 1]] 
=oWw +p E{X’*[n— 1]} 


或 者 
o%[n] = po% [n= 1]+ot, nz 二 1 
这 是 一 个 一 阶 差分 方程 , 通过 由 初始 概率 密度 函数 给 定 的 ox[0] = 可 以 求解 ox[n]。 解 为 
on]=[+p +p + + ob + po0 
1 
> 1, 10 一 OO 


例 8.5-2 (马尔 可 夫差 分 方程 ) 考 虑 差分 方程 
XIn] =pXIn 1+ Wilnl 
其 中 WI[n] 是 独立 随机 序列 (参见 定义 8. 1-2) 。 令 7 >0; 则 


fx (msn i sn) = fx (cn) 1) fr (Sil fx (vizo) fm (zo) 


= (I fw (zx 一 mi fw (zo) 


k=1 
其 中 wx[n] =2 及 Ww[n] = 分 别 为 取 自 随机 序列 了 [nn] 和 WI[n] 的 样本 函数 。 显 然 了 [nn] 是 
马尔 可 夫 随 机 序列 。 如 果 W[N] 是 一 个 独立 的 高 斯 随机 序列 ， 则 这 就 是 例 8. 5-1 的 情况 。 否 则 
马尔 可 夫 序 列 了 [nn] 将 是 非 高 斯 的 。 
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马尔 可 夫 性 质 可 以 推广 到 高 阶 相关 以 及 高 阶 差分 方程 ,从 而 将 直接 相关 概念 扩展 到 多 于 
一 个 样本 距离 , 扩展 直接 依赖 于 多 个 样本 实例 。 

定义 8.5-2 (马尔 可 夫 -p 随机 序列 ) 令 正 整 数 pD 称 为 马尔 可 夫 -p 随机 序列 的 阶 。 连 续 马 
尔 可 夫 -p 随机 序列 站 [Ln], 对 n 三 0 有 定义 ,以 下 条 件 概率 密度 方程 : 

fx (Wtpl nm 1 0) = fx(Dtg ln dns ,Tnp+1) 

对 所 有 kk 宇 1 及 nn 宇 p 都 成 立 。 

回顾 式 (8.5-1), 可 以 发 现 随 着 马尔 可 夫 阶 p 增 大 , 用 马尔 可 夫 随 机 序列 模拟 一 般 随机 序 
列 的 建 模 误差 将 逐步 改善 。 

jx(zZoyzl ZN) 
= fx(zo)fx (Tilzo)fx (ror1, 70) :+ fx (TN|ITN-1,..*, 20) 


SO fx(To)fx (rilro)fx (Tolr1, To) :fx (Tp|Tp_1,...,T0) 


N 
x II fx (WR] Dp 1 7, Lk-Bt1) 
k=p+1 

这 种 模拟 对 于 一 般 情况 都 是 成 立 的 , 即 最 近 的 依赖 最 强 , 比如 [nn 一 1] 和 [mn 一 2] ,而 

离 得 较 远 的 依赖 性 通常 可 以 忽略 。 当 马尔 可 夫 -p 模型 用 于 信号 处 理 中 , 最 重要 的 问题 是 确定 

适当 的 模型 阶 数 p, 使 得 原始 数据 的 诸如 联合 概率 密度 函数 式 (8.5-1) 之 类 的 统计 特性 能 够 被 

马尔 可 夫 -p 模型 适当 模拟 。 著 名 的 用 于 噪声 中 失真 信号 的 递归 线性 估计 的 卡尔 曼 滤 波 器 就 是 
基于 马尔 可 夫 模 型 。 


ARMA 模型 


有 一 类 线性 常 系数 差分 方程 模型 被 称 为 ARMA, 表示 自 回归 移动 平均 。 这 里 的 输入 是 独 
立 的 随机 序列 W[n], 均值 ww =0, 方差 ow =1。 其 LCCDE 模型 形 如 
AT L 
X[n]| = > ak 一 大 ] 十 > bk Wn —k] 
k=1 k=0 
若 模型 是 BIBO 稳定 且 -% <n< +%，, 则 输出 一 WSS 序列 , 其 psd 为 


2 








多 
»， br exp(—jok) 
Sxx(w) = 3 
1— Da exp(—jwk) 
k=1 
ARMA 序列 不 是 马尔 可 夫 的 , 但 是 当 工 =0 时 , 它 是 马尔 可 夫 -M, 得 到 的 模型 称 为 自 回 归 
的 (AR) 。 另 一 方面 , 当 M =0 时 , 即 不 存在 反馈 系数 we, 则 ARMA 序列 变 成 











L 
XIn] = 》_ deWiln— 几 
大 一 9 


则 模型 称 为 移动 平均 的 (MA) 。MA 模型 经 常用 于 估计 数据 窗口 内 的 时 间 平 均 , 如 下 例 所 示 。 
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例 8.5-3 (运动 时 间 平 均 ) 考虑 即 己 1 的 独立 随机 变量 W[n] 的 序列 。 记 其 运动 时 间 平 
均 为 


LA 
hwln] = 7 > Wk] 
k=1 
因为 可 以 等 价 地 将 fw[n] 写 为 满足 时 变 AR 方程 


a 九 一 1 站 
Am] = wm 一 车 十 W ln] 





根据 输入 W[n] 联 合 独 立 性 , 得 到 应 w[n] 是 非 平稳 的 马尔 可 夫 随 机 序列 9。 
马尔 可 夫 链 

马尔 可 夫 随 机 序列 既 可 以 取 连 续 值 , 也 可 以 取 离 散 值 , 因此 相应 地 可 以 被 表示 为 概率 密度 
函数 或 者 概率 质量 函数 。 对 于 离散 取 值 的 情况 , 称 随机 序列 为 马尔 可 夫 链 。 其 应 用 包括 : 缓冲 
区 占用 、 计算 机 网 络 以 及 连续 时 间 马 尔 可 夫 链 的 离散 时 间 仿 真 模 型 (参见 第 9 章 )。 

定义 8.5-3 (马尔 可 夫 链 ) 离 散 时 间 蕊 尔 可 夫 链 是 一 个 随机 序列 [nn], 其 入 阶 条 件 概率 
质量 函数 满足 

Px(xIn]|z[ln — 1],:… ,zn — N])= Px(zln]|zln — 1]) (8.5-3) 

对 所 有 n、 所 有 z[k] 的 取 值 以 及 对 所 有 整数 N >1 都 成 立 。 


X[n] 在 时 间 n 处 的 值 称 为 “状态 ”"。 这 是 因为 当前 的 值 , 也 就 是 时 刻 n 的 值 确定 了 后 续 
条 件 概率 质量 函数 , 而 与 X[nj] 之 前 的 取 值 无 关 。 
一 个 特别 重要 的 实例 是 , 当 X[n] 的 取 值 范围 有 限 ,比如 AM。X[n] 的 离散 区 间 , 也 就 是 
取 值 的 范围 , 有 时 被 称 为 标签 集合 。 标 签 集合 通常 的 选择 是 整数 |1, MI 或 10, M -1|。 这 种 
马尔 可 夫 链 称 为 具有 有 限 状 态 空 间 , 或 者 简称 有 限 状态 马尔 可 夫 链 。 此 时 , 而 且 当 随机 序列 是 
平稳 的 , 可 以 用 具有 如 下 元 素 的 矩阵 了 表示 概率 转移 信息 
Pi = Pxm|xn-yd ld (8.5-4) 


其 中 1<i, j<M。 和 矩阵 了 被 称 为 状态 转移 矩阵 。 根 据 其 定义 有 ,此 矩阵 的 所 有 元 素 非 负 ， 每 
一 行 的 和 为 1。 通常 ， 不 失 一 般 性 ,可 以 认为 马尔 可 夫 链 起 始 于 时 刻 n=0。 因 此 必须 明确 n=0 
时 刻 状态 初始 概率 的 集合 , 即 Px(i; 0) , 1<i<M, 这 可 以 保存 在 初始 概率 向 量 局 [0] , 这 是 一 
个 行 向 量 , 其 元 素 为 (p[0]); =Px(i; 0), 1<i<M。 

下 面 的 例子 介绍 非常 有 用 的 ,在 例 8. 1-14 中 出 现 过 的 状态 转移 图 。 

例 8.54 (二 状态 马尔 可 夫 链 ) 令 Mr =2; 则 


P12 
可 以 总 结 一 个 二 状态 马尔 可 夫 链 的 状态 转移 信息 
如 图 8.5-1 所 示 。 唯 一 需要 增加 的 是 初始 概率 的 7 
/D2 
设置 , Py(1; 0) 和 Py(2; 0)。 


可 能 的 问题 是 : 假设 在 时 刻 4 处 于 状态 1, 那 
么 在 时 刻 6 处 于 状态 2 的 概率 是 多 少 呢 ? 或 者 给 定 图 8.5-1 二 状态 马尔 可 夫 链 的 状态 转移 图 





@ 注意 LwLnj] 的 方差 随 n 递 减 。 
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时 刻 3 两 个 状态 的 概率 分 布 , 那么 在 时 刻 7 两 个 状态 的 概率 分 布 又 是 多 少 ? 注意 , 在 某 个 时 刻 
在 一 个 状态 ， 而 在 若干 时 间 之 后 转移 到 另 一 个 状态 存在 几 种 方法 或 途径 。 这 些 问题 的 答案 将 
包含 对 这 些 互 斥 输出 的 求 和 。 

这 里 有 履 =2, 两 个 元 素 的 概率 行 向 量 p[Ln] =(poL0], piLn])。 利 用 状态 转移 矩阵 ,， 有 


PH = ploP 
pl2] = pIlP 
= p[l0lP? 
或 者 , 一 般 地 
pln| =pl0P" 


如 有 果 存 在 统计 稳 态 , 将 得 到 pl om ] =p[ % ]P, 其 中 pl % ] =limplnj]。 

记 pAp[l%], 则 有 p(T-P) =0, 包含 履 -1 个 独立 的 线性 方程 。 借助 于 额外 的 等 式 
Pi =1 ,其 中 工 是 下 个 元 素 的 全 工 列 向 量 , 则 可 以 求解 p 中 的 履 个 值 。 稳 定 状 态 的 存在 , 或 者 
等 价 地 渐 近 平稳 , 将 依赖 于 状态 转移 矩阵 了 的 特征 值 。 

例 8.5-5 ( 非 对 称 二 状态 马尔 可 夫 链 ) 下 面 考虑 一 个 二 状态 、 非 对 称 马 尔 可 夫 链 (AMC) 
的 例子 , 状态 标签 为 0 和 1, 状态 转移 矩阵 为 


P= Poo Pol| 0.9 0.1 
和 D10 P11 I02 08 


Poi 
ph 
:oi /> P11 


图 8.5-2 一 般 ( 非 对 称 ) 二 状态 马尔 可 夫 随 机 序列 的 状态 转移 图 , 状态 标签 0 和 1 


注意 在 此 模型 中 , 不 要 求 poo。 =pu, 而 稳 态 概 府 ， 如果 存 在 的 话 ， 由 以 下 方程 的 解 确 定 
pin+1=plnP (8.5-5) 
其 中 令 M 一 oo 。 记 概率 为 po[ % ] 和 pil[%], 利用 pol%]+pi[%] =1, 得 到 
Lii 
2 一 Doo0 一 Dll 
1—poo 
2 一 poo 一 Dll 


如 图 8.5-2 所 示 。 


poloo] = 
piloo] 


由 此 ， 对 于 例 8.5-4 中 的 号 乱 阵 ,计算 得 到 po[ wm] = 了 以 及 Di[%] = 当 。 





本 例 中 AMC 的 稳 态 自 相 关 函 数 可 以 由 马尔 可 夫 状态 概率 计算 得 到 。 例 如 , 假设 渐 近 平稳 
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Rxx[lm] 守 P{XIK] =1,XIm 十 k= 1}， 足够 大 的 上 
= P{X[k] =1}P{X[m+k]=1|X[k] = 1} (8.5-6) 
= pi[col P{X[m] = 1|X[0] = 1} 
其 中 最 后 一 个 因子 是 从 状态 1 到 状态 1 的 m 步 转移 概率 。 当 初始 条 件 p[0] =[0, 1], 可 以 递 
归 地 由 式 (8.5-5) 计 算得 到 , 所 需要 的 计算 也 可 以 用 下 例 中 的 格 状 图 说 明 。 

例 8.5-6 (马尔 可 夫 链 的 格 状 图 ) 再 次 考虑 例 8. 1-15, 为 目前 所 知道 的 马尔 可 夫 链 引入 
了 状态 转移 图 。 另 一 种 展示 到 达 指 定 状 态 的 可 能 路 径 及 其 概率 的 有 用 图 形 是 格 状 图 ,名 字源 
于 常见 的 围绕 某 些 农田 的 木质 篇 爸 。 图 8.5-3 给 出 了 二 状态 的 情况 , 状态 标签 为 0 和 1, 假设 
是 对 称 的 ， 即 Di =Zio 可 以 发 现 这 个 格 状 图 是 例 8. 1-4 中 更 一 般 的 树 状 图 的 折 登 。 之 所 以 可 
以 将 树 折 登 成 格 ， 是 因为 马尔 可 夫 条 件 是 基于 条 件 概率 的 ,条件 概率 充当 了 分 支 的 标签 。 


[0] [1] [2] [3] 4 5 
pi1 p pi1 p pi 语 pi1 Pl 六 pil5] 








p 
、 
nd A A 
p p p p p p 
pol0] pol1] pol2] pol3] pol4] pol5] 
n=0 n=1 n=2 n=3 n=4 n=5 


图 8.5-3 ”状态 标签 为 0 和 1 的 二 状态 对 称 马尔 可 夫 链 。p;[n] 表 示 时 刻 nn 处 于 状态 i 的 概率 
每 个 节点 代表 给 定时 刻 的 状态 。 节 点 的 值 ( 标 签 ) 是 其 在 时 刻 nL 的 概率 。 连 线 ( 有 向 分 支 ) 
表示 可 能 的 状态 转移 , 标注 了 相应 的 状态 转移 概率 。 通 过 格 状 图 的 路 径 表 示 可 能 的 多 步 状态 
转移 ， 其 概率 为 路 径 上 每 个 分 支 转 移 概 率 的 乘积 。 
如 果 已 经 知道 在 时 刻 n=0 链 的 状态 为 1, 则 改进 的 格 状 图 简化 为 图 8.5-4, 其 中 在 状态 1 
的 节点 上 标注 了 P, AP|X[n] =1IX[0] =1|, 则 可 以 利用 此 格 状 图 计算 式 (8.5-6) 所 需 的 概 
率 PIX[n] =1IX[0] =1| 。 前 面 的 几 个 已, 很 容易 计算 出 来 ,如 已 =p, Ps = 人 + 全 ,已 =] + 


3pq* 等 。 对 于 pu [om] =D[o] -= 雯 ， 且 D =0.8 的 情况 , 渐 近 平稳 自 相 关 (ASA) 函数 
Roa[m] 为 Rax[0] =0.5, Rxx[ +1] =0.4, Ryx[ +2] =0.34, Rxx[ +3] =0.304, 以 此 类 推 叶 。 





图 8.5-4 基于 条 件 X[0] =1 的 格 状 图 





@ ASA 是 通过 Rxx[m] =B|X[k+m]X[k]| ,其 中 hk 一 %w 计 算 的 。 对 于 0 和 1 两 级 , Rxx[m] =PIX[m+k] =11X[k] =1| 
x0.5, 则 显然 Rxx[0] =1 x0.5=0.5, Rxx[1] =0.8 x0.5=0.4, Rxx[2] =[(0.8)?+(0.2)?] x0.5 =0.34 等 。 
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除了 一 些 简单 的 情况 , 格 状 图 一 般 会 显示 存在 许多 可 能 的 路 径 到 达 特 定 节点 , 即 给 定时 间 的 
给 定 状态 。 这 就 产生 了 哪 条 路 径 最 有 可 能 ( 可 能 性 最 大 ) 产生 要 求 的 多 步 转移 的 路 径 的 问题 。 在 
上 例 中 , 车 取 p >q, 这 只 是 找到 具有 最 多 p 的 路 径 问 题 。 但 是 一 般 情 况 下 , 找到 最 可 能 的 路 径 是 
一 件 非 常 耗 时 的 任务 , 而 且 如 果 采 用 随机 测试 的 方法 , 则 很 快 就 会 超越 多 数 计算 机 的 处 理 能 力 。 
针对 这 个 问题 开展 了 许多 研究 , 源 于 其 广泛 的 工程 应 用 需求 , 其 中 就 包括 机 器 语音 识别 。 

例 8.5-7 (缓冲 占用 ) 考 虑 马尔 可 夫 链 作为 具有 +1 个 状态 的 通信 信道 缓冲 区 的 模型 ， 
用 标签 0 到 有 表示 缓冲 的 占用 数 。 换 和 句 话说 ,状态 标签 是 MM 字 节 容 量 的 缓冲 中 目前 存储 的 字 
节 数 量 。 假 设 状态 转移 只 能 发 生 在 相 邻 状态 之 间 ; 也 就 是 在 每 个 时 间 单 元 ,， 占 用量 最 多 变化 一 
个 字 节 ,那么 其 状态 转移 图 如 图 8.5-5 所 示 。 








poi p12 p2: PpP:M 
Poo 
:OO 
pio P11 pi pz p2 p.. Pm. 
图 8.5-5 M+1 状态 通信 缓冲 区 的 马尔 可 夫 链 模型 
如 果 在 例 8. 5-7 中 令 M 趋 于 无 穷 , 则 得 到 所 谓 的 一 般 生 灭 链 ,首先 被 用 来 对 人 口 随时 间 
变化 的 规模 建 模 。 在 每 个 时 间 单 元 , 存在 最 多 一 个 出 生 和 最 多 一 个 死亡 。 
问题 求解 ”考虑 一 个 具有 如 下 状态 转移 矩阵 的 二 状态 马尔 可 夫 链 
P= 人 | 
p10 P11 
可 以 写 出 p[nj] 与 pLn+1] 关 系 的 方程 如 下 : 


[polni+1], piln+1)]= [poln], piln]] fe | (8.5-7) 


这 个 向 量 方程 等 价 于 两 个 必须 同时 求解 的 标量 差分 方程 , 也 就 是 两 个 同步 差分 方程 。 下 
面 尝试 以 下 形式 的 解 : 
poln] = Coz", piln] = C12” 
将 此 尝试 解 代入 式 (8.5-7) ,消除 公共 项 2”, 得 到 
Coz = Copoo + Cip10 
C1z = Copol + Cip1i 


0 6 = ) = (: DPol ) 
p10 zz— P11l 


这 确定 了 常数 C。 和 C 之 间 的 约束 关系 以 及 对 z 的 必要 条 件 , 后 者 称 为 特征 方程 
(z— poo)(z— P11) — piopo1 = 0 
实际 上 利用 行列 式 函数 , 特征 方程 ( CE) 可 以 写成 
det(zI— P)=0 
求解 两 状态 方程 , 得 到 两 个 解 % 和 zs。, 其 中 之 一 必须 等 于 1( 看 出 来 了 吗 ? 注意 1 -po = 
poio) 由 此 得 到 的 解 可 以 写成 


由 此 推出 下 面 的 必要 条 件 : 





372 概率 、 统 计 与 随机 过 程 ( 第 四 版 ) 


poln] = Coz?,pi[ln] = Co (三 媒 ) A 
p10 


由 于 向 量 差 分 方程 是 线性 的 , 可 以 给 不 同 的 z; 值 增加 两 个 相应 的 解 , 得 到 一 般 解 , 写成 
行 向 量 形式 如 下 : 


SR | zh | As | 和 
p10 p10 


其 中 对 两 个 线性 独立 解 引入 了 两 个 新 的 常数 4, 和 A。。 这 两 个 常数 必须 由 以 下 条 件 求解 , 初始 
概率 矩阵 已 [0] 和 时 刻 ? 的 概率 行 向 量 的 必要 条 件 , 即 对 所 有 mn 二 0, 有 5 ,piLn] = 16 


例 8.5-8 (完全 解 ) 令 
ca [3 er plo] = [1/2, 1/2] 


并 求 完全 解 ， 包括 初 始 转移 和 p[nj] 的 稳 态 值 。 
第 一 步 是 求 出 了 的 特征 值 ， 也 就 是 特征 方程 ( CE) 的 根 


和 | 


,i 加 
| 二 


det(27 一 一) = det | 


此 方程 的 根 为 2 =0.7 和 z =1.0。 因 此 可 以 写 为 
pln] = C1ll,—1]0.7™ + Col1,0.5] 1” 


由 稳 态 要 求 思 的 元 素 求 和 为 1.0， 可 以 得 到 Cs = 马 。 因 此 可 以 进一步 写 为 


pln] = C1[1,—1] 0.7" + [3, 3] 


最 后 利用 指定 的 初始 条 件 p[0] =[1/2，1/2] 得 到 Ci = -言及 
PIn] = [一 二 刘 0.7" 十 [有 下， 或 者 以 标量 形式 


poln] = 一 者 0.7" 十 ee 
piln] = 者 0.7" 十 雪 


可 以 看 到 稳 态 概率 存在 , 且 pol % ] = 及 pi[ oo ] -村 。 下 面 的 例子 将 说 明 这 种 稳 态 概率 并 不 
总 是 存在 的 。 

例 8.5-9 ( 振 乓 序列 ) 考 虑 状态 转移 概 些 既 阵 为 已 =| 0] 的 二 状态 马尔 可 夫 链 。 其 特 
征 方程 为 


det(zT — P) = det jw 


| =z2—1=0 

有 两 个 根 2。 = +1。 因 此 这 种 情况 下 没有 稳定 的 状态 , 即使 P 的 特征 值 之 一 为 1。 实 际 上 , 可 
以 从 状态 转移 图 直接 看 到 ,此 随机 序列 永远 在 每 个 连续 的 时 间 周 期 在 状态 0 和 1 之 间 循 环 往 
复 。 其 相位 可 以 由 初始 概率 向 量 p[0] =[1, 0] 不 可 变 确 定 。 


我 们 不 能 总 是 假设 稳定 状态 存在 , 注意 此 例子 的 状态 转移 概率 退化 到 达 和 离开 状态 的 概 
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率 要 么 是 0, 要 么 是 1。 男 一 个 关于 稳 态 存在 性 的 问题 是 所 谓 的 捕获 状态 。 这 是 一 种 只 有 到 
达 , 没有 离开 的 状态 。 在 大 多 数 通 信和 信号 处 理 所 感 兴趣 的 场合 , 稳 态 都 是 存在 的 , 不 管 链 的 
初始 状态 如 何 。 


8.6 向 量 随机 序列 和 状态 方程 


目前 为 止 接触 过 的 标量 随机 序列 的 概念 可 以 扩展 到 向 量 随机 序列 。 此 概念 用 来 导出 噪声 
中 信号 的 线性 估计 (卡尔 曼 滤波 ) (参见 第 11 章 ) 。 也 被 用 在 传感器 阵列 的 建 模 中 , 例如 地 震 、 
声学 、 雷 达 等 。 本 节 介 绍 随机 向 量 的 差分 方程 和 向 量 马尔 可 夫 随 机 序列 的 概念 。 有 趣 的 是 , 高 
阶 马尔 可 夫 -p 标量 随机 序列 可 以 看 成 一 阶 向 量 马尔 可 夫 序 列 。 
定义 8.6-1 一 个 向 量 随机 序列 是 从 概率 样本 空间 2， 对 应 于 概率 空间 (2,，. 匈 已 ) ,到 复 
数 向 量 序列 空间 的 映射 。 
因此 对 于 每 个 EeQ 和 固定 的 时 刻 n, 得 到 一 个 向 量 苦 (n, 7)。 向 量 随 机 序列 通常 写 为 
对 [92]， 省 略 实验 结果 《。 
例如 随机 向 量 序列 邓 [nj] 的 一 阶 累积 分 布 函 数 可 以 记 为 
Fx(x;n) 二 P{X[In| < x} 
其 中 | 夭 [n] <x| 意 味 着 每 个 元 素 均 满 足 此 不 等 式 , 即 |X[n]<xi, Ln]<%,…, Xvy[n]<xw|。 
二 阶 及 更 高 阶 概率 也 可 以 相应 地 进行 描述 。 向 量 随 机 序列 由 其 所 有 一 阶 和 高 阶 累积 分 布 函数 
(或 概率 密度 函数 、 概 率 质 量 函数 ) 统 计 地 确定 。 
下 面 的 例子 对 向 量 随机 序列 输入 以 下 具有 N 维系 数 和 矩阵 4 和 B 的 向 量 LCCDE 进行 相关 
性 分 析 
yn| = Ayl[n — 1 +Bx[n) 
对 于 此 向 量 , 当 有 4 的 特征 值 的 绝对 值 小 于 1, 可 以 假定 是 BIBO 稳定 的 。 
例 8.6-1 (向 量 LCCDE) 对 于 向 量 的 情况 , 标量 的 一 阶 LCCDE 模型 ， 由 列 向 量 随机 序列 
有 [nn 激励 ,成 为 
YIn| = AYIn —1)+BXIn| (8.6-1) 
这 是 在 样本 向 量 序列 中 的 一 阶 向 量 差分 方程 。 向 量 冲 激 响应 为 列 向 量 序列 
hln| = A™” Buln) 
序列 蛋 [n] 的 零 初始 条 件 响应 为 
YIn| = 》 A”" “BXIA] 
天 一 0 
会 hn] * 及 In] 
其 矩阵 系统 函数 为 
H(z)= (7-Az: ') 'B 
可 以 很 容易 地 验证 。 输 入 WSS 随机 向 量 序列 及 其 输出 WSS 随机 序列 之 间 的 WSS 互相 关 和 矩阵 
为 Ryx[m] AEBIY[n+m]'[n]|[ 其 中 符号 “+” 表示 埃 尔 米 特 (或 共 轿 ) 转换 ] 和 Ryx[m] 全 
加 |X[n+m]Y'[m]| 成 为 
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Ryx lm| = hlm)] * Rxx Im) 
Rxy [m] = Rxx [ml] * hi[—m] 
顺便 地 , 我 们 注意 到 对 于 因果 的 及 ,可 从 上 面 的 向 量 LCCDE 递归 解 得 到 ， 当 输入 在 = 了 酚 
假设 为 一 白 噪 声 向 量 序 列 , 输出 了 Y[n] 与 输入 及 [nn] 将 来 的 取 值 无 关 。 
输出 的 相关 和 矩阵 为 
Ryy[m] = hlml] * Rxx [m] * hi[—m] 
进行 傅 里 叶 变 换 ， 输 出 psd 短 阵 为 
Syy (©) = H(w)S xx (o)Hi(w) 
式 (8.6-1) 对 于 任意 Nn 宇 nw 的 完全 解 可 以 用 no 时 刻 明 确 的 初始 条 件 了 [no] 写 为 


Yln] = A” "Yl[no]+ > hin 一 k] 有 [Ik], Nno 


大 一 mo 
当 wo 一- oo ， 对 稳定 的 系统 矩阵 如, 这 变 成 卷 积 和 
Yln| = hln] * 不 [7]， 一 co0< 7 < 十 oo 


定义 8.6-2 向量 随机 序列 了 [n] 为 向 量 蕊 尔 可 夫 序 列 ， 如果 对 所 及 >0 以 及 对 所 有 

Nx 二 人 Ki > >N ,RK™ 
P{YIng] < yrxlynr i Yn]} = P{YInkg] < yrlylnr-i]} 

对 所 有 向 量 Yxk， 以 及 所 有 条 件 向 量 yLnx_1]，…,yLni |] 都 成 立 ( 参 见 定义 8.5-2 的 马尔 可 夫 -p 
性 质 ) 。 

下 面 介 绍 向 量 随 机 序列 的 一 个 定理 。 

定理 8.6-1 对 于 状态 方程 

KIn| = AX[In—1+BWiIn, n>0, XI0]=0 

令 输 入 到 [nn] 为 白 高 斯 随机 序列 。 则 对 于 n>0 输出 及 [nn] 是 向 量 马 尔 可 夫 随 机 序列 。 

定理 的 证 明 留 做 练习 。 

例 8.6-2 (标量 马尔 可 夫 -p 和 向 量 马 尔 可 夫 之 间 的 关系 ) 令 [Nn] 为 马尔 可 夫 -p 随机 序 
列 ， 满足 p 阶 差分 方程 

XIn| =aX[ln—1+:.…+apX[n —p]+bW lnl] 
定义 p 维 向 量 随机 序列 及 [n] =[X[n],…,X[n -p+1]] ,以 及 系数 矩阵 


al aa .ap 
0 0 0 
4=|0 1 : : 
: 0 

0 0 1 0 


则 有 

X[n] = AXIn—1]+bWin) 
由 此 及 [nn] 是 b=[b, 0,…,0] 的 向 量 蕊 尔 可 夫 随 机 序列 。 这 种 标量 方程 的 向 量 转 化 称 为 状 
态 变 量 表示 。 
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8.7 随机 序列 的 收敛 


当 序列 趋 于 无 穷 大 , 例如 随 着 时 间 变 为 无 限 大 , 某 些 非 平稳 随机 序列 可 能 收敛 到 一 个 极限 
值 。 这 种 渐 近 行为 在 概率 论 中 的 无 限 伯 努 利 序列 的 收敛 性 已 经 见证 过 , 相应 的 理论 称 为 大 数 
定理 。 此 外 , 在 学 习 随 机 过 程 的 收敛 时 , 有 时 会 要 求 一 个 序列 越 来 越 允 近 随机 系统 给 定时 间 的 
输出 ,例如 为 的 输出 了 (如)。 下 标 n 定义 了 一 个 随机 序列 , 在 某 种 意义 上 将 收敛 到 真实 的 输 
出 。 本 节 将 研究 几 种 随机 序列 , 也 就 是 随机 变量 序列 的 收敛 。 

首先 回顾 确定 序列 收敛 的 概念 。 令 z 为 一 复数 (或 实数 ) 序 列 , 则 收敛 定义 如 下 所 述 。 

定义 8.7-1 一 复数 (或 实数 ) 序列 Zn 收敛 到 菜 个 复数 (或 实数 )X， 如果 给 定 任意 & >0， 
存在 一 个 整数 no 满足 当 n >n。 时 , 有 

lzn 一 Z| << 

注意 在 此 定义 中 wx 可 能 依赖 于 s 的 值 ; 也 就 是 当 se 变 得 越 来 越 小 , 则 no 很 可 能 变 得 越 来 

越 大 。 有 时 候 这 种 依赖 性 被 形式 化 到 定义 中 , 用 ro(s) 代 替 mo。 这 经 常 写 为 
Lim Zn=7 或 当 zn 一 7 当 n 一 00 

这 种 定义 的 一 个 具体 问题 是 必须 知道 极限 x 才能 验证 其 收敛 性 。 对 于 简单 的 情况 往往 可 
以 猜测 出 极限 的 值 并 用 定义 验证 极限 确实 存在 。 幸 运 的 是 , 对 于 大 多 复杂 的 情况 , 存在 一 种 替 
代 的 柯 西 收敛 准则 ,下 面 不 加 证 明 地 给 出 。 

定理 8.7-1 ( 柯 西 准则 [8s] ) 一 个 复数 (或 实数 ) 序 列 w, 收 化 到 某 个 极限 当 且 仅 当 (iff) 

lzn 一 Zm| 一 0 随 着 n 和 m 一 00 
它 对 复数 (实数 ) 序 列 有 效 的 原因 是 所 有 复数 (或 实数 ) 集合 是 完备 的 ， 意 味 着 它 包含 所 有 极限 
点 。 例 如, 集合 |0 <Z <1| =(0, 1) 不 是 完备 的 , 而 集合 |0<x<1| =[0, 1] 是 完备 的 ， 因 为 
这 些 集合 中 趋向 于 0 或 工 的 序列 Zr 在 [0, 1] 中 有 极限 , 而 在 (0, 1) 中 极限 点 不 存在 。 实 际 上 ， 
所 有 复数 (或 实数 ) 的 集合 是 完备 的 , 而 且 nn 维 线性 向 量 空间 在 实数 域 以 及 复数 域 上 都 是 完备 的 。 
因此 柯 西 收 仇 准则 也 适用 于 这 些 情况 。 关 于 数值 收敛 的 更 多 信息 可 以 参阅 参考 文献 [8-8] 。 

咏 数 的 收敛 定义 利用 了 数值 序列 收敛 的 定义 。 我们 称 函 数 序 列 有 (XX) 收 化 到 函数 (XY)， 
如 果 对 每 个 x 相应 的 数值 序列 都 收敛 。 在 下 面 的 定义 中 给 出 了 更 加 正式 的 定义 。 

定义 8.7-2” 通 数 序列 f(x)( 逐 点 ) 收 化 到 函数 (XX) ， 如 果 对 每 个 xX。， 复数 序列 f,(%wo) 

收敛 到 f(%o)。 


如 果 考 虑 的 函数 集合 是 完备 的 , 则 柯 西 收敛 准则 可 以 应 用 于 函数 的 逐 点 收敛 。 连 续 函数 的 
集合 不 是 完备 的 ,因为 连续 函数 的 序列 可 能 收敛 到 非 连续 的 函数 [ 参见 例 8.7-1 的 选项 (d) ] 。 但 
是 有 限 函 数 的 集合 是 完备 的 1。 

下 面 是 收敛 数值 和 函数 序列 的 一 些 例 子 。 验 证 其 结果 作为 练习 留 给 读者 。 


例 8.7-1 (一 些 收 敛 序列 ) 

(a) zn=(1—1/nat+(l/nb— a 当 n 0 

(b) 全 =sin(w+e ")— sinw 当 7 一 co。 

(oj 三 0 1/n)z] 一 sin(wr)， 当 n 一 00， 对 于 任意 (固定 ) 7。 


5) = 
(d) f(x) = 牛人 一 当 n co， 对 于 任意 (国定 ) z。 
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读者 需要 注意 对 于 (c) 和 (dl) 的 函数 收 信 ， 当 取 极 限 的 时 候 ， 变 量 和 是 保持 不 变 的 。 对 每 个 2 
重复 求 极 限 以 来 出 极限 函数 。 

因为 随机 变量 是 一 个 函数 , 所 以 随机 变量 的 序列 (也 称 为 随机 序列 ) 就 是 函数 的 序列 。 因 
此 , 可 以 定义 第 一 类 , 也 是 最 强 的 随机 变量 收敛 类 型 。 

定义 8.7-3 (确定 收 化 ) 随 机 序列 习 [n] 确 定 收 敛 到 随机 变量 及 如 果 函 数 的 序列 [nn, ] 
收敛 到 函 数 卫 (2)， 当 Nn 一 w 且 对 所 有 实验 结果 Ye 人。 


提醒 一 下 ,函数 和 (CD) 不 是 任意 的 。 它 们 是 随机 变量 , 因此 满足 以 下 条 件 , 对 所 有 2 集合 
上: 和) sz C 兄 也 就 是 , 此 集合 是 对 所 有 z 值 的 事件 。 这 对 于 计算 概率 而 言 实际 上 是 必 
和 需 的 ,因为 概率 测度 PP 只 对 事件 有 定义 。 这 样 的 函数 也 通常 被 称 为 测度 函数 , 而 有 旦 在 实数 
分 析 课 程 中 验证 了 测度 函数 的 空间 是 完备 的 !。 若 有 一 测度 函数 (随机 变量 ) 的 柯 西 序列 ， 
那么 可 以 证 明 极限 函数 存在 且 可 测 ( 一 个 随机 变量 ) 。 因 此 柯 西 收敛 准则 同样 适用 于 随机 
变量 。 

大 多 数 时 候 我 们 对 2 中 概率 为 零 的 随机 变量 集合 不 感 兴趣 ， 因 为 考虑 到 这 些 事 件 永 远 
不 会 出 现 。 在 这 种 情况 下 , 可 以 弱化 确定 收敛 的 定义 , 得 到 仍然 非常 强 的 几乎 确定 收敛 的 
定义 。 

定义 8.7-4 (几乎 确定 收敛 ) 随 机 序列 卫 [n] 几乎 确定 收 化 到 随机 变量 耳 ， 如果 函数 的 序 
列 了 X[n, 除了 可 能 在 概率 为 零 的 集合 上 ,对 所 有 实验 结果 eQ 收 伊 。 

这 是 通常 在 概率 论 中 最 强 的 收敛 类 型 ,也 称 为 概率 1 收 人 钱 。 有 了 时候 记 为 

P{lim XIn,s] =X(6)} =1 
简单 来 说 就 是 存在 集合 4 满足 P[4] =1 且 对 所 有 Ze A, X[n] 收敛 到 X。 特 别 地 A 和 A 
i:lim, ,。X[n, 5] =X(Z) | 。 这 里 集合 A“ 是 定义 中 提 到 的 概率 零 集合 。 简 记 为 
XIn =Xas 和 Xm] 一 开 pr.1 

其 中 缩写 “a. s” 表 示 几 乎 确定 , 而 “pr. 1” 表 示 概 率 1。 

概率 1 收敛 的 一 个 例子 是 强大 数 定 理 , 将 在 下 一 节 证 明 。 接 下 来 讨论 可 能 收敛 的 随机 序 
列 的 三 个 例子 。 

例 8.7-2 (随机 序列 的 收效) 下 面 三 个 随机 序列 ， 都 假设 概率 空间 (@2，. 宛 已 ) 有 样本 空间 
人 2=[0, 1]。.F 是 2 的 博 雷 尔 子 集 , 概率 测度 忆 为 勒 贝 格 测度 , 在 实 区 间 (a, bj] 就 是 其 长 
度 1, 即 

l(a,b 人 Eb-a, bza 
(a) XI 人 = 


(b) Xim 引 = sin(ng) 
(c) Xln,t] =exp[—n2(¢ — 1)] 


显然 (a) 中 的 序列 对 任意 Lz#0 发 散 到 + om 。 因 此 这 个 随机 序列 不 收 伊 ，(b) 中 的 序列 不 
发 散 ， 但 是 除了 上 =0, 其 在 -1 和 +1 之 间 振 荡 , 因此 也 不 收敛 。 
考虑 (Cc) 中 的 随机 序列 , 图 8.7-1 显示 此 序列 收 化 如 下 : 


lm Xnd= {9 £0 
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因此 可 以 说 , 随机 序列 以 概率 1 收敛 到 ( 退 60 
化 的 ) 随 机 变量 也 =0。 简 单 取 A=(0,1] 且 
注意 到 P[A] =1 及 对 A 中 每 个 i,， 当 nn 足 
够 大 ， Xln, ¢] =0。 记 为 XX[n] 一 *0， X[n] -0 
一 0 但 是 了 [n] 显 然 不 是 确定 收 人 证 到 零 。 

目前 我 们 已 经 讨论 了 函数 序列 和 随机 
序列 的 逐 点 收敛 。 这 类 似 于 考虑 具有 以 下 
范 数 的 有 界 函 数 空间 . 罗 : 

||fllw 全 sup |f (2)l 


当 在 函数 空间 . 罗 中 表示 f 一 f 时 , 意思 是 
上 fn -fl >。=sups lf(7X) -f(x)1 一 0, 提供 
逐 点 收敛 的 定义 。 连 续 有 界 函 数 的 空间 记 
为 L。, 它 是 完备 的 。 

另 一 种 具有 很 强 实 际 意义 的 函数 空间 类 型 采用 能 量 范 数 [参见 式 (4.4-6) ] 


下 oa 1/2 
Ws (| vrar) 


具有 有 限 能 量 范 数 的 可 积 ( 可 测 ) 函数 空间 记 为 天。 当 称 一 个 函数 序列 在 I 中 收敛 ， 
即 fh -| :一 0,， 意味 着 


4 


ss 


X[n,tl,n 


0 
0 0.1 02 03 04 05 0.6 0.7 08 09 1 


图 8.7-1 例 8.7-2(c) 中 序列 的 图 形 , X[n, ] 
与 ,0=[0,1] ,n=1,.…,4 





1/2 


( | fae) ~ fa) ae ) ee 


可 积 函 数 的 空间 也 是 完备 的 。 相 应 的 随机 序列 的 概念 称 为 均 方 收敛 。 

定义 8.7-5 ( 均 方 收 化 ) 称 随机 序列 卫 [n] 均 方 收敛 到 随机 变量 及, 如 果 EB| 1X[n] -|?| 
—0, N—% 。 

这 种 收敛 仅 依赖 于 随机 变量 的 二 阶 属性 ， 因此 往往 比 a.s 收敛 容易 计算 。 均 方 收敛 的 第 二 
个 优点 是 其 和 物理 意义 上 的 功率 概念 密切 相关 。 如 果 X[%j 在 均 方 意义 上 收敛 到 敢 , 那么 可 以 预 
计 , 当 ? 比较 大 时 , 其 误差 的 方差 e[n] AX[n] -也 比较 小 。 如 果 回 头 再 看 看 例 8.7-2(c), 可 以 
发 现 此 随机 序列 在 均 方 意义 上 并 不 收敛 , 因此 就 这 里 所 定义 的 误差 的 方差 或 功率 而 言 , 不 可 能 
如 期 望 的 那样 小 。 为 了 看 清 这 一 点 , 假定 均 方 收敛 到 零 ( 因 和 [7 ] 一 0) 

E{|X[n] — 0|*} = E{X[n]*} 


1 
=| exp(—2n2¢) exp 2nd¢ 
0 


1 
= expl2n) | exp(—2n22)d¢ 
0 


1 一 exp( 一 272) 
2n2 





= exp(2n) | 


因此 从 均 方 意义 上 XL[n] 并 不 收敛 到 0。 


| -Wn 
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还 有 一 种 将 要 考虑 的 收敛 类 型 被 称 为 依 概率 收敛 。 它 比 概率 1 收敛 弱 , 也 比 均 方 收敛 弱 。 
这 种 类 型 的 收敛 出 现在 下 一 节 将 讨论 的 弱 大 数 定理 中 。 其 定义 如 下 所 述 。 


定义 8.7-6 ( 依 概率 收敛 ) 给 定 随机 序列 站 [Nn] 及 极限 随机 变量 卫 , 称 X[n] 依 概率 收敛 


到 妃 ， 如 果 对 任意 >0, 有 
Lim PI[|XIn] ~ X|>a]=0 


有 时 记 为 XL2 一 X(O2)， 其 中 (2) 表 示 收 敛 的 类 型 。 依 概率 收敛 有 时 也 称 为 2 收敛 。 

可 以 利用 切 比 雪夫 不 等 式 (参见 定理 4.4-1), 对 e>0, P[17I >e] <E[171?]/e? 来 验证 
均 方 收敛 隐 含 依 概率 收敛 。 例 如 , 令 YAX[n] -和 则 前 面 的 不 等 式 变 为 

Pl|XIn] 一 和 > el< ElXIn] — Xl:]/e’ 

现在 均 方 收敛 意味 着 当 n 一 % 时 右 端 趋向 于 零 ， 对 任何 确定 的 a >0, 这 意味 着 左边 必须 趋向 
于 零 , 恰好 是 依 概率 收敛 的 定义 。 由 此 证 明了 下 面 的 结论 。 

定理 8.7-2 ”随机 序列 均 方 收敛 则 必 依 概率 收 全 

概率 1 收敛 与 依 概率 收敛 的 关系 更 加 微妙 。 注 意 到 前 者 讨论 极限 的 概率 , 而 后 者 讨论 概 
率 的 极限 , 就 可 以 发 现 它们 之 间 的 主要 区 别 。 此 外 , 注意 到 a. s 收敛 关注 整个 样本 序列 的 收 
敛 , 而 2 收敛 只 关注 单个 % 的 随机 变量 的 收敛 ,可 以 获得 更 深入 的 认识 。 也 就 是 说 , a.s 收敛 
关注 无 限 数量 时 间 点 的 联合 事件 , 而 2 收敛 关注 的 是 时 刻 n 的 事件 , 无 论 它 有 多 大 。 可 以 证 
明 下 面 的 定理 。 

定理 8.7-3 概率 1 收敛 则 依 概率 收敛 

证 明 (参考 了 Gnedenko'*”) 令 了 [n] 一 XX 且 定 义 集合 A 


A= = 站 U 站 {€: | 和 + 人 一 和 (| < 1/k} 


=1n=1m=1 
则 必 有 PL[A] =1。 为 说 明 这 一 点 ,注意 A 是 满足 从 某 个 员 开 始 的 ,对 所 有 后 续 名 都 有 1X[n， 
C] -XX(L)1 <1/k 的 儿 的 集合 , 而 且 此 式 对 所 有 k>0 都 成 立 。 因 此 A 和 A 恰 为 使 X[n, 5 收敛 的 Z 
的 集合 , 所 以 PL[A] 必 为 1。 最 终 , 当 nh 足够 大 , 而 且 1/k 足够 小 , 可 以 得 到 IX[n,t] -XI <e， 
对 所 有 更 大 的 Nn, 误差 保持 为 这 么 小 。 因 此 


U N (Xm+ 呆 -< = 1， 对 于 所 有 上 > 0 


n=1 m=1 





根据 概率 的 连续 性 ,这 意味 着 
中 可 门 {l Xp 十 mm] 一 和 | < 9 一 1， 对 于 所 有 < > 0 


m=1 
这 接 下 来 就 隐 含 了 极 大 弱化 的 结果 
lim PlIXIn+ml— XI<e=1, 对 于 所 有 < > 0 (8.7-1) 


这 等 价 于 p 收敛 的 定义 。 
由 于 前 面 证 明 中 大 幅度 弱化 了 a. s 的 条 件 , 即 扩 大 了 集合 4 的 范围 , 可 以 看 出 2 收敛 并 


不 隐 含 a. s 收敛 。 特 别 注意 到 即使 对 于 所 有 n +m >% 没有 一 个 样本 序列 接近 怀 , 式 (8.7-1) 
仍 有 可 能 是 正确 的 。 这 实际 上 是 这 两 种 收敛 之 间 最 关键 的 差别 。 
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例 8.7-3 (一 个 收敛 的 随机 序列 ?) 定 义 一 个 随机 脉冲 序列 卫 [n],n 宇 0 如 下 : 令 X[0] =1。 
然后 对 后 面 的 两 个 点 , 按照 相同 的 可 能 性 设 其 中 一 个 点 卫 [nn] 为 1， 另 一 个 为 0。 接 着 对 后 面 
的 三 个 点 , 按照 相同 的 可 能 性 设 其 中 一 个 点 [Nn] 为 1, 另 两 个 为 0。 继 续 这 一 过 程 , 对 后 面 
的 四 个 点 , 按照 相同 的 可 能 性 设 其 中 一 个 点 卫 [n] 为 1, 另 三 个 为 0, 以 此 类 推 。 一 个 样本 函 
数 如 图 8.7-2 所 示 。 | 


x[n] 





图 8.7-2 依 概率 收敛 但 不 是 概率 1 收敛 的 序列 
显然 此 随机 序列 在 某 种 意义 上 ， 当 n>o% 时 缓慢 收敛 到 零 。 实 际 上 通过 简单 的 计算 可 以 
证 明 力 收 化 ,以 及 均 方 收 化 ,由 于 随 着 nm ， 脉 冲 之 间 的 距离 逐步 加 大 。 实 际 上 在 多 = 记忆 
时 ，1( 脉 冲 ) 出 现 的 概率 仅 为 1/1。 但 是 ， 得 不 到 a.s 收 化 ,因为 每 个 样本 序列 中 ， 在 刀 轴 任意 
远 的 地 方 都 有 1。 因 此 没有 样本 序列 收敛 到 零 。 
最 后 一 种 考虑 的 收敛 类 型 根本 不 是 随机 变量 的 收敛 ! 而 是 分 布 函数 的 收敛 。 


定义 8.7-7 具有 累积 分 布 函 数 局 (XY) 的 随机 序列 卫 [n] 收 化 到 具有 累积 分 布 函 数 F(X) 
的 随机 变量 入， 如 果 
lim Fn,(7x) = F(z) 


nOo0 


对 所 有 2Z, 玉 是 连续 的 。 


注意 在 此 定义 中 , 说 的 不 是 随机 变量 自身 , 而 是 它们 的 累积 分 布 函数 。 分 布 收敛 只 意味 着 
当 n 变 大 ， 累 积分 布 函数 收敛 或 者 变 得 类 似 。 例 如 , 序列 XL[n] 和 变量 了 可 能 联合 独立 , 即使 
[72] 分 布 收敛 到 瑟 。 这 与 前 面 四 种 收敛 完全 不 同 , 对 于 那些 收敛 , 当 n 变 大 , 随机 变量 X[n] 
和 巨变 得 非常 相关 ,因为 两 者 之 间 某 种 类 型 的 “误差 " 趋 近 于 零 。 分 布 收敛 是 出 现在 中 心 极 限 
定理 (参见 4.7 节 ) 中 的 收敛 类 型 。 这 5 种 收敛 之 间 的 关系 以 图 形 的 方式 在 图 8. 7-3 中 给 出 ， 
其 中 利用 了 2 收敛 隐 含 依 概率 收敛 , 下面 会 说 明 这 一 点 。 注 意 , 即使 确定 收敛 也 不 一 定 意味 着 
均 方 收敛 。 这 是 因为 随机 变量 极限 平方 的 积分 , 相对 于 概率 测度 ,可 能 发 散 。 


Ss 一 确定 
NS as 一 几乎 确定 
ms 一 均 方 
p 一 概率 
p d 一 分 布 


d 


图 8.7-3 随机 序列 各 种 可 能 收敛 之 间 关 系 的 维 恩 图 
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为 了 说 明 2 收敛 隐 含 分布 收敛 , 假设 极限 随机 变量 了 是 连续 的 , 因此 其 具有 概率 密度 函 
数 。 首 先 考虑 条 件 分 布 函 数 
Fxinllx(y|x) = P{X[n] < y|X = z} 
由 2 收敛 的 定义 , 显然 


有 尝 ' 东 


Fxinix(yle) = {YE nm 


因此 
Fx[n]lx(y|2) — u(y — 7) 
除非 在 点 y =X。 因此 有 


十 oo 
Fxml(y) = P{X[In] < y} = | Fx[nllx (YIz)fx (rz)dzr 
十 co 
一 | | u(y — rz)fx(r)dr 


| fx(z)dr 


= Fx(y) 
得 证 。 当 极限 随机 变量 站 不 连续 , 那么 应 用 的 时 候 必须 谨慎 , 但 是 对 于 在 Fy (x) 连续 的 所 有 
点 XX 上, 结论 仍然 成 立 ( 参 见习 题 8. 52 ) 。 


8.8 大 数 定理 


大 数 定理 是 关于 随机 变量 均值 估计 序列 的 收敛 。 因 此 其 关注 随机 序列 收敛 到 常数 。 弱 大 
数 定理 得 到 依 概 率 收敛 , 强大 数 定理 产生 概率 1 收敛 。 弱 大 数 定理 的 一 种 说 法 已 经 在 例 4. 4-3 
中 介绍 过 。 为 方便 计 , 这 里 复述 一 遍 。 
定理 8.8-1 ( 弱 大 数 定 理 ) 令 于 [也 ] 为 定义 在 也 忆 1 上 , 均值 为 wx， 方差 为 ox 的 独立 随机 
序列 。 定 义 另 一 随机 序列 如 下 : 
hx ln)] 全 (1/n) xx 由 | 
k=1 


则 xIn] 一 Kx (Pp) 当 n 一 00 。 

记 住 , 一 个 独立 随机 序列 的 各 随机 变量 都 相互 独立 。 弱 大 数 定理 的 另 一 种 说 法 允许 随机 
序列 具有 不 均匀 的 方差 。 

定理 8.8-2 ( 弱 大 数 定理 , 非 均 匀 方 差 ) 令 习 [n] 为 定义 在 Nn 三 1 上 , 均值 为 Lx, 方差 为 
ox[N] 的 独立 随机 序列 。 若 


o%[n/n < oo 


[8 


n=1 


中 


则 Px 四 一 px (PD) 当 m 一 oo。 


这 两 个 定理 对 于 概率 1 收敛 也 成 立 , 此 时 变 成 强大 数 定理 。 关 注 概率 1 收敛 的 强大 数 定 
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理 最 好 利用 款 序 列 导 出 。 为 了 介绍 此 概念 ,需要 另 一 个 非常 有 用 的 结论 , 称 为 款 收 敛 定理 ， 对 
于 估计 和 检测 /判决 理论 非常 有 用 。 
定义 8.8-1 定义 在 n=0 上 的 随机 序列 卫 [n] 称 为 著 序 列 ， 如 果 其 条 件 期 望 为 
E{X[n]|X[n — 1],XIn m2],.…,X[I0} = XIn m1 对 于 所 有 n 宇 1 


将 条 件 期 望 看 成 基于 历史 数据 对 序列 当前 值 的 估计 , 则 对 于 蒜 序 列 , 此 估计 恰 是 最 近 的 历 
史 取 值 。 如 果 将 [rn] 作为 一 个 赌博 游戏 中 的 资金 数 , 那么 蒜 条 件 可 以 看 成 游戏 公平 性 的 必要 
条 件 , 这 实际 上 就 是 它 最 早 被 提出 的 方式 1。 

例 8.8-1 (二 项 式 计 数 序列 ) 令 W[n] 为 定义 在 nn 宇 0 上 , 等 概率 取 土 1 值 的 伯 努 利 随 机 
序列 。 令 [nn] 为 相应 的 二 项 式 计 数 序列 


XIn] 全 >， W iIk], nz 三 0 
k=0 
则 卫 [n] 为 闭 序 列 , 证 明 如 下 : 


E{X[n]|XIn —1),..…., X[0]} = 五 位 WIk]|XIn — 11], x 


k=0 


= E{WI[IA|IX[n — 1],.…, X[0]} 


k=0 


= 》 E{WI[AIWIn — 1],.…, WI[O]} 
k=0 


n—1l 
= > WI[k] + E{W ln]} 
k=0 
= XIn—1] 
第 一 个 等 式 是 由 于 慷 [n] 的 定义 。 第 三 个 等 式 是 由 于 知道 了 前 面 第 一 个 (nn -1) 半 相当 于 知 
道 了 前 面 第 一 个 (n -1)W。 倒数 第 二 个 等 式 是 因为 [WIW] =W。 最 后 一 个 等 式 是 因为 
ElWIln]| =0。 
例 8.8-2 (独立 增 量 序列 ) 令 [Nn] 为 定义 在 n 大 0 上 的 独立 增 量 随机 序列 (参见 定义 8.1-4)， 
则 及 [mn] AX[n] -jx[n] 为 鞭 序 列 。 为 证 明 这 一 点 , 记 X[n] =(X[n] -XLn-1])+ 
有.[n -1], 根据 独立 增 量 性 以 及 六 . 的 均值 为 零 ， 有 
E{Xcln]|Xeln — 1],***, Xel0]} = E{Xeln] — Xeln — lIXeln — 1],***, Xe[O]} 
十 五 {Xe — 1]|Xeln — 1),.…:,Xc[0]} 
= E{Xc[n] — Xeln — 1]}+ Xceln—1] 
一 Xc[n 一 3 


下 面 的 定理 显示 了 强大 数 定理 与 款 序 列 之 间 的 关系 。 强 大 数 定理 关注 样本 序列 收 伊 , 提 
供 了 一 种 在 nn 点 蒜 序 列 中 关于 最 大 项 的 切 比 雪夫 不 等 式 。 





@ 在 首次 阅读 的 时 候 可 以 略 过 蒜 序 列 的 内 容 。 
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定理 8.8-3 令 习 [nn] 为 定义 在 Nn 大 0 上 的 蒜 序 列 ， 则 对 于 每 个 >0 和 任意 正 的 及 , 有 
Pa [X[k]| = | < E{X?[n]}/e? 


证 明 对 于 0<j<n, 定义 互 斥 事 件 
Aj 会 {|X[ 则 >=， 在 了 时 刻 的 第 一 次 } 
则 事件 |maxo<x<w1X[L5]1=e| 是 这 些 事件 的 联合 。 同 时 定义 随机 变量 


称 为 事件 A 的 指示 器 。 则 


E{X?[n]} > > E{X?[n]L;} (8. 8-1) 
j=0 


因为 加 "<1 而 且 尺 [n] =(X[j] +(X[n] -X[7]))*， 展开 并 将 其 代入 式 (8.8-1) ,可 
得 到 n n 
BE{X?In]} > DE{X?0]D} +2) E{X] (XIn] — XI]) D} 
j=0 


j=0 


+ DE{(XIn] — XI])” 万]} (8.8-2) 
一 0 


> E{X2D} +2) EB{X] (XIn] - Xi) Db) 


j=0 3 
令 马 人 XL7] 万 , 将 式 (8.8-2) 中 的 第 2 项 写 为 |Z,(X[n] -X[j])| 同 时 注意 到 名 只 依赖 于 
X[0] ,…,X[j]， 因此 有 
E{2; (民风 一 开罗 让 三 E{E[Z; (全 四 — XI]) IX[0],.., XI]} 
= E{2;E[X[n] — XIX[0],.…:, X[]]} 
= E{2; (X[;] — X[])} 
='0 
由 此 式 (8.8-2 ) 变 为 n 
E{X?[n]} > 》 E{X?[j]L;} 
j=0 


>e2E 万 
j=0 

一 e2P (J A 
j=0 


一 =P1 max |X[A]| >=.) 
0<k<n 


定理 8.8-4 ( 款 收 敏 定理 ) 令 于 [也 ] 为 定义 在 了 三 0 上 的 著 序 列 , 满足 
E{X?In]}<C<o% 对 所 有 n, 对 菜 个 C 
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则 
XInj—X (as.) 当 7 一 oo 
其 中 站 是 极限 随机 变量 。 
证 明 令 m 宇 0, 定义 了 [In] AX[n+m] 一 了 [mm],n 宇 0。 则 Y[n] 是 一 个 著 序 列 , 因此 
根据 定理 8.8-3 


P| max |X[m+k]— XIm|lzel<s SE{Y?In)} 


0<k<n 
其 中 
E{Y?[n]} = E{(XIn + m)] — X[m)’} 
一 五 {X2m 十 mm]} —2E{X[n +m]X[m} + E{X?[m)} 
对 于 中 间 的 一 项 , 有 
E{X[Im]XIn+m]} = E{X[m]E[X[n + m]|X[m),:.:,X[0)]} 
= E{X[Im]X[m]} 
二 EB{X?[m]}， 由 于 义 是 拷 序 列 
所 以 对 所 有 mm, 有 三 0 都 有 
E{Y?In]} = EB{X*[n+m]}— EB{X?[m]} 0 对 于 所 有 m,n 宇 0 (8. 8-3) 
因此 万 | 下 [n]| 必须 是 单调 不 减 的。 从 上 面 C<% 可 知 ， 它 还 是 有 界 的 ， 因 此 必然 收敛 到 某 个 
极限 值 。 因 为 其 有 极限 ， 则 根据 式 (8.8-3) ， 当 和 ,7 一 o ， 吾 | 玉 [7]} 一 0。 所 以 
lim P max |X[m + 用 一 和 [mm]| > =| =0 


根据 概率 测度 书 的 连续 性 , 这 表明 P[lim, ,maxiso1X[m +k]1X[m] >s] =0( 参 见 定理 8.1-1 
的 引 理 ) 。 最 后 , 根据 柯 西 收敛 准则 ,存在 一 个 随机 变量 下 满 足 
XIn—>X (a.s.) 
定理 8.8-5 (强大 数 定理 ) 令 卫 [N] 为 定义 在 Nn 宇 1 上 的 WSS 独立 随机 序列 ,均值 为 jx， 
方差 为 wx ， 则 当 nn 一 % 


px 四 = 工 》X 因 一 nx (as) 
k= 


"十,[k]; 则 当即 >1 时 Y[n] 为 鞭 序 列 。 因 为 
E{Y?[n]} = > 而 o 去 02 >》， 夯 一 C < oo 
k=1 k=1 
可 以 应 用 定理 8.8-4 证 明 对 菜 个 随机 变量 了 , 了 [n] 一 了 。 又 注意 到 X[k] =k(Y[lk] -Ylk -1])， 
可 以 得 到 


证 明 令 Y[n] 4 了 


= 1 
Wi 
还 

I 


- 党 kY[k] — kY[k— 1 
k=1 b= 


= ~ yy 内 + 二 四 
k=1 


—»—Y+Y=0 (a.s.) 
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因此 


hxln] = Lx (as.) 
小 结 


本 章 介绍 了 随机 序列 的 概念 , 并 且 研 究 了 其 性 质 和 描述 方法 。 将 随机 序列 定义 为 与 样本 
空间 中 的 实验 结果 或 点 相关 的 样本 序列 集 。 介 绍 了 几 种 重要 的 随机 序列 。 然 后 回顾 了 线性 离 
散 时 间 理 论 , 考虑 了 样本 序列 通过 系统 后 如 何 变 换 的 实际 问题 。 主 要 强调 均值 和 协 方差 函数 
通过 线性 系统 的 变换 。 然 后 又 研究 了 一 些 特殊 并 且 重 要 的 平稳 和 WSS 随机 序列 的 例子 , 引入 
了 功率 谱 密度 的 概念 。 研 究 了 随机 序列 的 收敛 以 及 评估 各 种 可 能 的 收敛 方式 。 然 后 应 用 这 些 
结论 到 大 数 定理 中 , 并 且 应 用 著 序 列 的 性 质证 明了 重要 的 强大 数 定 理 。 

关于 本 章 内 容 的 一 些 其 他 资料 可 参阅 参考 文献 [8-9 ] 、 参 考 文献 [8-10 ] 以 及 参考 文献 [8-11 |]。 

下 一 章 随 着 继续 展开 对 随机 过 程 的 研究 , 我 们 将 会 看 到 本 音 的 许多 结论 可 以 扩展 到 连续 
时 间 的 情况 。 


习题 


(标注 星 号 * 的 习题 带 有 一 定 的 难度 , 需要 花 更 多 的 时 间 和 /或 更 深入 的 学 习 。) 
8.1 证 明 六 个 事件 交集 的 概率 法 则 。 例 如 , 当 入 =3, 有 
PL AA,A,] =PL4， ]P[4。 14， ]P[4。 14,4。] 
并 说 明 此 法 则 对 联合 累积 分 布 函 数 和 联合 概率 密度 函数 有 效 。 
*8.2 考虑 一 个 入 维 随 机 向 量 苦 。 验 证 此 随机 变量 的 元 素 两 两 独立 并 不 表示 这 些 元 素 是 联合 独立 的 。 
8.3 令 圣 =[ 卫 ,XX，…, XX] 为 随机 向 量 , 其 元 素 满足 等 式 
Xi=Xi_1+Bi; li<5 

其 中 B, 满足 伯 努 利 分 布 且 联 合 独立 , 取 值 为 0 和 1, 均值 为 1/2。 第 一 个 值 为 X=B1。 将 B, 聚合 在 

一 起 产生 随机 向 量 B。 

(a) 4 为 某 常数 矩阵 , 记 肝 =4B, 确定 4。 

(b) 求 出 均值 向 量 Awx。 

(c) 求 出 协 方差 矩阵 Kpsp。 

(d) 求 出 协 方差 矩阵 疏 xx。 

[对 于 (b) 到 (d), 用 矩阵 4 来 描述 你 的 答案 ] 。 
8.4 今 一 簇 序列 x(n, 9 ) 由 一 确定 参数 9 给 出 

N—1 


27Nn 
{eo Es 十 on)\ 
3 k=0 


现 定义 在 相同 的 参数 集合 | 91 上 取 值 的 随机 变量 8。 令 9 的 概率 分 布 函数 为 
1 
Pe(0r) = k=0,"N-1 





现 设 X[n] Acos( 2 +0). 


(a) X[n] 是 否 为 随机 序列 ? 如 果 是 , 描述 映射 X(n, Z) 及 其 概率 空间 (0Q2, FF, 已) 。 如 果 不 是 , 给 出 完 
整 解释 。 
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(b) 令 9 = 于 ,k=0,…,N-1, 求 EIX[n]10。 


(c) 对 于 与 (b) 中 相同 的 0, 求 EIXLn]XLm]|。 此 处 取 N >2。 
“8.5 通常 一 个 题目 的 开始 如 下 :“ 令 为 一 实 值 随机 变量 , 其 概率 密度 函数 fy (xX)…" 因 为 一 个 随机 变量 是 
源 自 具有 事件 域 多 和 概率 测度 己 的 样本 空间 2 的 映射 , 显然 在 问题 的 描述 中 假设 了 概率 空间 (0, 宛 P) 
的 存在 性 。 论 证 总 是 可 以 创建 适当 的 概率 空间 (0, 多 已 )， 从 而 使 如 上 的 问题 阐述 合理 。 
8.6 令 了 为 一 连续 随机 变量 ,表示 第 一 个 光子 从 光源 中 发 出 的 时 间 ; 7 从 光源 加 电 的 时 刻 开始 计量 。 假 设 
了 的 概率 密度 函数 为 fr(t) =Ae “wu(t), 其 中 入 >0。 
(a) 如 果 知 道 没有 光子 在 九 时 刻 之 前 发 出 , 则 至 少 一 个 光子 在 所 时 刻 之 前 发 出 的 概率 是 多 少 , 其 中 
ti < 加? 
(b) 如 果 有 三 个 独立 的 光源 同时 加 电 , 则 至 少 一 个 光子 在 t 时 刻 之 前 发 出 的 概率 是 多 少 ? 
8.7 设 卫 为 一 个 条 件 正 态 随机 变量 , 条 件 密度 函数 为 WUw, 呈 ), 给 定 随机 变量 的 值 M=p 以 及 玉 =o。 
(a) 假 设 呈 是 一 个 已 知 常量 , M 是 一 个 随机 变量 , 其 累积 分 布 函数 为 : 
Fy(m) = [1 -e*"]u(m) (注意 到 此 处 的 变量 m 是 连续 的 !) 
其 中 入 是 一 个 已 知 的 正 数 。 确 定 闻 的 特征 函数 (提示 :首先 确定 条 件 特征 函数 ) 。 
(b) 现 在 假设 六 和 M 都 是 独立 的 随机 变量 。 设 它们 的 分 布 任意 , 但 假设 它们 都 有 一 个 有 限 均 值 和 方 
差 。 确 定 邓 的 均值 和 方差 , 用 jww, jsz ,oh 表示 。 
8.8 令 开 和 了 为 独立 同 分 布 随机 变量 , 其 指数 概率 密度 函数 为 
jx(o) = fy(w) = Ae eu(w) 
(a) 为 以 下 分 式 确定 概率 密度 函数 fr(7), 0 <7<1 


Xx 
0<RE 


下 
(b) 令 4 为 事件 了 <1/Y。 假定 4 发 生 上 且 了 =2%， 请 确定 的 条 件 概 率 密度 函数 ; 也 就 是 确定 
fx(z|A,Y = Y) 
(c) 利用 (b) 中 的 定义 , 假定 4 发 生 旦 Y=y,X 的 最 小 均 方 误差 估计 是 多 少 ? 
8.9 利用 复 值 随机 变量 的 施 瓦 茨 不 等 式 证 明 , 对 任意 复 值 WSS 随机 序列 了 [m] 有 
IRxIm]| < RxlI0], 对 所 有 整数 m 
8.10 邻 祭 =[ 轧 , 驰 ,…, Xio] 为 一 随机 向 量 , 其 元 素 满足 方程 


人 2 2 
i= (Xi1+ Xitl) + Wi, 2<i<9 





其 中 W, 是 独立 拉 普 拉 斯 分 布 , 均值 为 零 ,方差 为 0*， i=1,2,…, 10, 县 = 圳 及 + 名 W, 及 X= 
总 轧 + 了 Wio。 

(a) 求 均值 向 量 jx。 

(b) 求 协 方差 箱 阵 Kx。 

(c) 写 出 随机 向 量 的 多 维 概率 密度 函数 的 表达 式 。 

提示 : 和 矩阵 等 式 


若 





TD 注意 : cos(A +B) =cosAcosB - sin4sinB 及 cos4cosB = 1cos(4 +B) +cos(A-B)|, 
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1 pF Pad 
p 业 和 
4 全 02 p 业 i 
a 
p™ p 1 
则 4 为 
il—& -a 0 0 
—Q I -a 0 du 
BA 1=| 0 = 全 0 
i 0 poi 一 和 
0 eds 0 -Qa 1l1—pa 


其 中 q&a- 人 5 及 所 AL -2 。 拉 普 拉 斯 概率 密度 函数 为 
+p l+p 





遍 oo( ve), <w<+o 
8.11 证 明 推 论 8. 1-1。 
8.12 令 |X;| 为 独立 同 分 布 正 态 随 机 变量 , 均值 为 零 , 方差 为 1。 令 
Sk 全 Xi+X2+...+ Xk, >1 
确定 S, 和 S 的 联合 概率 密度 函数 , 其 中 1<m <n。 
8.13 在 例 8.1-8 中 看 到 累积 分 布 函数 是 右 连 续 的 。 它 们 是 否 左 连续 ? 证明 或 给 出 反例 。 
8.14 令 概 率 空间 (0, 兄 已) 如 下 给 定 : Q2= |a, 5b, cl , 即 输出 =a 或 2 或 c; 9 为 所 有 2 的 子 集 ; 对 每 种 输 
出 #，P[15H] = 二。 令 随机 序列 X[m] 定 义 如 下 ， 
XIn,al = 36[n] 
XIn,b] = uln — 1] 
XIn,c] = cosmn/2 
(a) 求 均值 函数 jx[Lnj。 
(b) 求 相 关 函 数 Rxx [m,n]。 
(c) X[1] 和 X[0] 是 否 独立 ? 为什么? 
8.15 设 平稳 高 斯 随机 序列 Y[n] 具 有 零 均 值 , 协 方差 函数 为 
Kwy[m] =op” 其 中 -wm <m<+%m,lpl<1l 
(a) 给 定 X[n-1], 求 X[nj] 的 条 件 均值 。 
(b) 什 么 意义 下 它 是 X[n] 的 一 个 好 的 预测 。 
8.16 考虑 一 随机 序列 X[n] 输 入 具有 以 下 冲 激 响应 的 线性 滤波 器 
1/2, n=0 
h[n] = | 宅 n=1 
0， 其 他 
记 输 出 随机 序列 YLn] ， 即 对 每 个 输出 


天 一 十 co 
大 一 一 co 
假设 此 滤波 器 一 直 运 行 , 即 -w <n < +%m。 已 知 输入 均值 函数 jw,Ln] 和 相关 函数 RxxLm ,ms]， 用 这 


些 假设 已 知 的 函数 回答 以 下 间 题 : 

(a) 求 输出 的 均值 函数 jy[n]。 

(b) 求 输出 的 自 相关 函数 Ryy[L n,n ] 。 

(c) 用 (a) 和 (b) 的 解答 表示 输出 的 自 协 方差 函数 KyyLn, 7 ] 。 


8. 18 


8. 19 
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合 概 率 密度 函数 f(yi, ys; 7 ，7a ) 。 
随机 到 达 时 间 序 列 7T[n], 定义 在 n 三 1, 具有 Erlang 概率 密度 , 对 某 些 和 A >0 


(CAE 
f(tin) = Ty 


求 联 合 概率 密度 函数 f(b,;10,5) 。 其 中 TLn] 是 指数 概率 密度 函数 的 独立 同 分 布 到 达 时 间 序 列 直 
到 n 时 刻 之 前 的 所 有 序列 之 和 。 
令 T[n] 表 示 随 机 到 达 序 列 





Aexp( — At)u(t) 


n 


TIn] = 》_ 7[k] 


k=1 

其 中 r[1] 为 到 达 间 隔 时 间 的 独立 随机 序列 , 满足 A >0 的 指数 分 布 。 
(a) 求 此 随机 序列 的 特征 函数 ， 即 

Br(w;n) = EleioTI)] 
(b) 利用 此 特征 函数 求 均值 函数 jr[ nj]。 
令 随 机 序列 TLn] 定 义 在 n=1 上 , 且 对 每 个 n 具 有 Erlang 概率 密度 函数 
(At)" ! 
(nC—1)! 
对 n=2 定义 新 的 随机 序列 rLn] 27T[n] -了 [7 -1 ,， 且 设 r[1] 人 7[1]。 可 和 否 得 出 结论 r[%] 为 具有 
相同 参数 A 的 指数 分 布 ?” 如 果 不 是 , 需要 什么 关于 T[%] 的 额外 信息 ? 验证 你 的 答案 。 
考虑 一 个 具有 ”漏电 ”电池 的 充电 耦合 器 (CCD ) 阵列 的 随机 序列 。 首 先 定义 宽度 3 的 脉冲 函数 
1/4, n=—1 
1727% = 
1/4,; n=+l 
0， 其 他 
如 图 P8.20 所 示 , 表示 25% 的 电量 泄漏 到 右边 , 25% 的 电量 泄漏 到 左边 。 假 设 一 维 的 CCD 阵列 是 无 限 
长 的 , 用 随机 序列 子 表 示 阵 列 的 无 限 维 试验 输出 





fr(lt;n) = Ae— Mu(t), A>0 


hin] = 


4 一 十 co 
XIn,d]= >，4(C)nn 一 让 


其 中 Z 是 的 第 i 个 组 件 。 随 机 变量 A(Zi) 为 联合 独立 的 高 斯 分 布 , 均值 和 方差 均 为 A。 
(a) 求 均值 函数 x[Ln]。 

(b) 求 一 阶 概率 密度 函数 fx (x; 7n)。 

(c) 求 联合 概率 密度 函数 fx(zi, XY, n, n+1)。 





图 P8.20 漏电 电池 的 脉冲 函数 
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8.21 给 定 随机 序列 [Ln], n=0, 其 条 件 概 率 密度 函数 为 
fx(zn|zn_1) = Qaexp[—a(zn — zn_1)] wzn — Tn_1), > 
其 中 %(Z) 是 单位 阶梯 函数 , 初始 概率 密度 函数 为 fx(xo) =5(zo), 取 a>0。 
(a) 求 n=2 时 一 阶 概率 密度 函数 . 产 (z) 。 
(b) 利用 数学 归纳 法 求 任 意 %>1 的 一 阶 概率 密度 函数 f(z, ) 。 
8.22 令 X[n] 为 如 图 P8.22 所 示 的 离散 时 间 LSI 系统 五 的 
确定 性 输入 。 x[n] hn] y[n] 
(a) 利用 线性 性 和 移 不 变性 证 明 





十 co 
yln] = zln] * hlnl a >， rlk]hln — k= hln] * zln] 图 P8.22 具有 冲 激 响应 [nn] 的 LSI 系统 


k=—00 


(b) 定义 序列 a[n] 的 健 里 叶 变 换 为 
A(w) 全 alnle em， nT<w<+m 


n= 一 O00 


试 证 明 其 傅 里 叶 逆 变换 为 
+ 
am] = 二 | A(w)etiondw, 一 oo <n<+oo 


(c) 利用 (a) 和 (b) 的 结果 证 明 对 于 LSI 离散 时 间 系 统 , 有 
Y(w)= H(w)X(w), —T<wW<+n 
8.23 考虑 差分 方程 
yln] +aym — 1] = zl[n), 一 oo <n<+oo 
其 中 -1<aw< +l。 
(a) 令 输 入 为 z[2] =B"wu[n]( -1<B<+1)。 假设 因果 性 成 立 , 即 对 <0, yLn] =0, 求 yLn] 的 解 。 
(b) 令 输 入 为 Z[n] =B-"u[ -n]( -1<B<+1)。 假 设 反 因果 性 成 立 D, 即 对 n>0, y[n] =0, 求 
y[Lnj] 的 解 。 
8.24 今 X[n] 为 WSS 随机 序列 , 均值 为 零 , 且 协 方差 函数 
Kxxl[m| = oa2plm|， 对 于 所 有 一 00 < mm < 十 co 
其 中 p 是 实 常数 。 考 虑 以 下 形式 的 差分 方程 
Yln] = Xn 一 aXP 一 1H]， 且 一 co<7< 十 oo 
(a) 用 参数 0 , p, a 表示 YLn] 的 协 方差 函数 。 
(b) 求 a 使 Y[n] 为 WSS 白 噪 声 序列 。 
(c) 求 此 白 噪声 的 平均 功率 。 
8.25 ” 今 W[n] 为 独立 随机 序列 , 均值 为 0, 方差 为 o%, 对 -om <n< +% 有 定义 。 对 适当 选择 的 p, 使 稳 态 
随机 序列 [mn] 满足 因果 LCCDE 
X[n] =pX[In—1+Winl, 一 co <Nn<+oo 
(a) 证 明 X[n 一 1] 和 W[%] 在 时 刻 n%w 是 独立 的 。 
(b) 推导 出 特征 函数 方程 
Dx(w) = Dx (po) Pw (w) 
(c) 对 于 未 知 函 数 Bx， 当 W[n] 假 设 为 高 斯 的 , 求 此 函数 方程 的 连续 解 (注意 : Bx(0) =1)。 
(d) ox% 是 多 少 ? 





Q@ 这 部 分 要 求 掌 握 关 于 z 变换 的 详细 知识 (参见 附录 A) 。 


8.26 


8.30 


8.32 


8.33 


8.34 


8.35 


8.36 
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考虑 图 P8.26 所 示 的 LSI 系统 ,其 确定 输入 ZL] 被 随机 噪声 序列 W[n] 污 染 。 希 望 确 定 输出 随机 序列 
Y[n] 的 性 质 。 噪 声 W[n] 的 均值 pwLn] =2, 其 自 相关 函数 为 EW[m]W[n]| =ow5[oa -7 ] +4。 冲 
激 响应 为 h[h] =p"uLn]，lpl <1。 确定 输入 x[Ln] 对 所 有 nn 均 为 3。 


(a) 求 输出 的 均值 wyr[m]。 WIn] 

(b) 求 输出 功率 E| 耿 [n]|。 

(c) 求 输出 的 协 方差 Kyy[m, n]。 x[n] Ynl 
证 明 例 8. 1-15 产生 的 随机 序列 了 [nj] 不 是 独立 随机 

序列 。 


. 图 P8.26 ”确定 信号 加 噪声 输入 的 LSI 系统 
设 W[n] 为 一 个 独立 随机 序列 , 均值 ww =0, 方差 为 


ow 。 定 义 一 个 新 的 随机 序列 如 下 : 
X[0] =0 
X[n] =pX[n -1] +WIn], n=1 
(a) 求 了 [nj] 的 均值 , n=0。 
(b) 求 了 [nn] 的 协 方差 , KxxLm,n]。 
(Cc) p 为何 值 , 则 当 m 和 变 大 时 , Kxx[m,n] 趋 近 于 G[m - 妈 ]( 对 某 些 有 限 值 函数 G)? 这 种 情况 被 称 
为 渐进 平稳 。 
设 随 机 变量 A 和 B 为 独立 同 分 布 , 均值 为 0, 方差 史 , 三 阶 矩 至 [4 ] =B[B ] =7as 天 0。 考 虑 随机 序 
列 X[n] = Acoswon + Bsinwo2,，- o <? <+o ,其 中 oo 是 一 个 固定 的 射频 频率 。 
(a) 证 明了 [nj] 是 WSS。 
(b) 通 过 举 出 一 个 反例 , 证 明 X[n] 非 平稳 。 
考虑 一 WSS 随机 序列 X[2] , 均值 jx[n] =k 为 常数 , 其 相关 函数 为 Rwx[m] =D5[m] 且 2 >0。 在 
这 种 情况 下 , /w 必 为 0( 此 题 中 将 得 到 证 明 ) 。 注 意 本 例 中 协 方差 函数 为 Kx[m] =p*6[m] -jw 。 
(a) 取 m=0, 证 明 p? py。 
(b) 从 随机 序列 [n] 中 取 长 度 为 N 的 向 量 圣 。 证 明 相应 的 协 方差 算 阵 Kxx 只 有 当 j<o*/(N -1) 时 
是 半 正 定 的 , 其 中 of Ap -py ( 提 示 : 取 系 数 向 量 a =1, 即 都 为 1)。 
(c) 令 No 并 证 明 对 于 平稳 白 噪声 序列 X[n],j 必 为 0。 
对 习题 8. 16 中 的 线性 滤波 器 , 假设 输入 随机 序列 是 WSS, 将 输出 功率 谱 密度 Syy(w) 用 输入 功率 谱 密 
度 Sxx(w) 来 表示 。 
(a) 证 明 功 率 谱 密度 是 一 个 实 函 数 , 即使 X[n] 是 一 个 复 值 随机 序列 。 
(b) 证 明 如 果 X[n] 是 实 值 , 则 Sxx(w) =Sxx( -w)。 
(c) 证 明 Syx(w) =0 对 所 有 w 成 立 , 无 论 X[n] 是 否 为 复 值 。 
令 WSS 随机 序列 开 的 相关 函数 
Rxxlm| = l0e— 和 lm| + 5e—*2Im| 
其 中 Al >0 及 As >0。 求 lol< 关 时 , 相应 的 功率 谱 密度 Sxx(w) 。 
某 随机 序列 的 功率 谱 密 度 为 Se(w) =1/[ (1 +@) -2acoso] ，-T 和 os< +T, 其 中 lal <1。 求 随机 
序列 的 相关 函数 RL m ]。 
令 系统 瑟 (w) 的 输入 W[n] 为 一 白 噪 声 随机 序列 , jw[n] =0 且 KwwLm] =6[m]。 令 X[nj] 表 示 相 应 
的 输出 随机 序列 。 求 KxwLm] 及 Sxw(w@)。 
考虑 图 P8. 35 所 示 的 系统 。 邻 X[n] 和 VIn] 为 WSS 目 不 相 关 , 均值 都 为 0, 功率 谱 密 度 分别 为 Sxx (ww) 
和 Sy(w)。 
(a) 求 输出 的 功率 谱 密 度 Syy(w) 。 
(b) 求 输入 了 和 输出 了 的 互 功率 谱 密 度 , 即 Sxy(w)。 
考虑 离散 时 间 系 统 ,其 输入 为 随机 序列 X[n], 输出 了 Lnj 为 
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I 
YInl = >》 Xn 
大 一 一 2 


假设 输入 序列 X[nj] 为 WSS, 且 其 功率 谱 密 度 Sxx(w) =2。 
(a) 求 输出 随机 序列 的 功率 谱 密度 Srr(w) 。 
(b) 求 输出 相关 函数 Ryy[m |]。 

VIn] 


X[n] Y[n] 
(+) hln] 


图 P8.35 具有 随机 信号 加 噪声 输入 的 LSI 系统 


令 平 稳 随 机 序列 YLn] =X[n] + ULn] 为 特定 离散 时 间 信 道 信号 层 和 噪声 UU 的 模型 ， 其 功率 谱 密度 

Sy(w)。 假 定 卫 和 UU 是 正 交 的 , 又 假定 对 所 有 lwl 大 站 都 有 Sy(w) >0。 作 为 通过 了 获得 对 互 的 估计 的 

第 一 步 , 令 了 输入 一 离散 时 间 滤 波 器 G(w) , 定义 为 G(w) =1/VSy(w) ,产生 如 图 P8.37(a) 所 示 的 平 

稳 输 出 序列 W[n]。 

(a) 基于 Sx, Sy, Su 求 WLn] 的 功率 谱 密度 , 即 Sy(w), 及 原始 输入 与 输出 之 间 的 互 功率 谱 密度 Syw(w) 。 

(b) 接 下 来 用 一 个 冲 激 响应 4[n] ,n=0, 1, …, -1 的 FIR 对 W[n] 进 行 滤波 , 输出 匀 [n], 原 无 品 
声 信号 X[%] 的 估计 如 图 P8.37(b) 所 示 。 按 照 随机 变量 的 希 尔 伯 特 空间 理论 确定 选择 滤波 器 的 
系数 及 [n] ， 则 估计 误差 mn] -X[n] 将 与 所 有 时 刻 % 用 来 估计 的 W[n] 相 互 正 交 。 写 出 方程 的 
为 个 滤波 器 系数 h[0] , h[1],…, h[N -1]。 和 案 需要 用 互相 关 函 数 Rxw[ m] 表 示 。 

(c) 令 六 趋向 无 穷 , 写 出 h[n] 的 频率 响应 , 即 五 (w)，, 用 离散 时 间 功 率 谱 密度 Syx(w) 和 Syy(w) 表 示 。 


Uln] 
xX Wln] Wiln] RIn] 
n 


图 P8.37(a) 图 P8.37(b) 


二 阶 矩 及 更 高 阶 矩 已 经 证 明 在 许多 高 级 应 用 中 非常 有 用 。 下 面 考虑 平稳 随机 序列 XLn],，-% <n<+% 
的 三 阶 相关 函数 : 
Rx [m1, m2] 全 E{XIn+mlX[n+ m2]X* [n]} 
(a) 令 Y[n] 为 冲 激 响 应 h[n] 的 LSI 系统 的 输出 , 作为 输入 随机 序列 了 [nj] 的 响应 。 确 定 一 个 类 似 卷 
积 的 方程 表示 输出 的 三 阶 相关 函数 Ry[m, ,ms ] ,用 输入 的 三 阶 相关 函数 Ry[m, ,ms ] 和 系统 的 
冲 激 响应 h[n] 表 示 。 定 义 邓 的 双 频 谱 密 度 为 二 维 侍 里 叶 变 换 
Sx(wlw2) = >》, Rx[mi1, m2| exp 一 j(wl721 + w2m2) 


mi m2 





(b) 对 于 (a) 中 的 系统 , 求 输出 的 双 频 谱 密度 Sy(w,，, ws), 用 系统 的 频率 响应 五 (， ) 和 输入 的 双 频 谱 
密度 Sx( wi， ws ) 表示 。 
令 X[n] 为 n=0 上 的 马尔 可 夫 链 , 取 值 为 1 和 2, 其 一 步 转移 概率 为 
Pi SP{XIn] =jlXIn—1]=i}, 1<i,j<2 
其 矩阵 形式 为 


0.9 0.1 
和 te | = (Pi) 


用 向 量 表示 n 时 刻 的 状态 概率 


8. 40 


8. 42 


8.43 


8. 44 


8. 45 


“8. 46 
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pln] S [P{X[n] = 1}, P{XIn] = 2)] 
(a) 证 明 pln] =p[0]P"。 
(b) 绘 出 二 状态 转移 图 , 并 在 每 个 分 支 上 标注 一 步 转移 概率 p;;。 不 要 忘记 pi 或 自转 移 ( 参 见 图 8. 5-1 的 
马尔 可 夫 链 状态 转移 图 ) 。 
(c) 给 定 [0] =1, 求 时 刻 ? 发 生 的 首先 转移 到 状态 2 的 概率 。 
考虑 采用 一 阶 马尔 可 夫 序 列 建 模 随机 序列 X[n] 如 下 : 
XIn] =rXIn— 1+2[n] 
其 中 Z[n] 是 方差 为 ez 的 白 噪声 。 取 17l <1 且 假设 系统 已 经 长 时 间 运 行 , 即 -o <n<+%。 
(a) 求 X[n] 的 功率 谱 密 度 , 即 Sxx (w) 。 
(b) 求 相关 函数 Rxx[ m ] 。 
本 章 定义 的 马尔 可 夫 随 机 序列 X[n] 是 用 其 一 阶 概率 密度 函数 fy(x; n) 及 其 一 步 条 件 概 率 密 度 函数 
jx(znlzn ii 人 一 1) 三 (zolzn 1) 
(a) 用 上 面 的 函数 表示 马尔 可 夫 随 机 序列 的 两 步 概率 密度 函数 (x 17x,_s)。 这 里 对 于 起 始 于 n=0 
的 随机 序列 , 取 n 宇 2。 
(b) 对 任意 正 整 数 N, 求 N 步 概率 密度 函数 fx(X,1x,_y)， 只 需要 考虑 nn 二 NN。 
考虑 在 | n = 0 | 上 一 个 随机 游 动 序列 [mn], 定义 如 下 : 
X[0] a0 


XIn] 全 py WiIk], n=0 
k=1 


其 中 W[n] 为 独立 随机 序列 , 平稳 , 且 满 足 
zt.1 A [+si,p = 1/2 

Wiln] = js =1/2 
差别 仅 在 于 正 负 间距 大 小 s1 关 s, 且 si >0,s,>0 
(a) 求 均值 函数 jx[n] AEIX[Ln]|。 
(b) 求 自 相 关 函 数 Rx[ n,n] AE|IX[n ]X[n,]|。 
考虑 一 个 马尔 可 夫 随 机 序列 X[n], 其 中 1<n< 100。 其 一 阶 概率 密度 为 f(x; 1), 一步 转 移 概率 密 
度 为 f(x 1 zi1; n,n 一 1)。 由 马尔 可 夫 的 定义 , 我 们 有 


大 ic 2 2<n<100 
说 明 一 个 马尔 可 夫 随 机 序列 倒序 后 仍 为 马尔 可 夫 序 列 ， 即 
fx (zn|Tn+1) = fx (Ln lnti Sn, 可 生生 , T100), l1<n<99 


这 样 描述 这 个 马尔 可 夫 随 机 序列 的 统计 特性 也 可 用 一 步 反 向 概率 密度 (xi 1 %; rn 一 1,n) 和 一 阶 
概率 密度 fy(x; 100) 来 描述 。 
给 定 一 个 马尔 可 夫 链 了 [n], n 宇 1, 转移 概率 为 P[x[n] 1x[n -1]], 求 两 步 转移 概率 
P[z[z]lz[m -2]] 的 表达 式 。 并 证 明 

P[lzx[n +1]1 ztn -ll,z[m2 -2],…,zZz[1]] = Plx[n +1]1 zxz[n -1]], n=1 
考虑 一 个 n 宕 1 的 马尔 可 夫 随 机 序列 了 [n] ， 由 差分 方程 产生 

XIn| = aXIn—1]+BWiIn)] 

其 中 输入 W[n] 为 独立 随机 序列 , 均值 为 0, 方差 为 ow, 初始 值 X[0] =0, 参数 a 和 BB 为 已 知 常数 。 
(a) 说 明子 序列 Y[n] A X[2n] 也 为 马尔 可 夫 序 列 。 
(b) 求 >0 时 的 方差 函数 oy[n] A E[| YIn] -Ar [2]17]。 
写 一 个 MATLAB 函数 triplemarkov 用 来 计算 和 绘制 例 8. 1-16 中 不 对 称 的 两 状态 马尔 可 夫 模 型 在 任 
意 三 组 参数 | pm, pu | 时 的 自 相关 函数 。 设 定 最 大 间隔 为 N, 在 10.2, 0.8|, 10.2, 0.5| 和 |0.2, 0.2| 
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8.47 


8.50 
8.51 


8.52 


8.53 
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时 运行 程序 。 在 10.8, 0.2| ,10.8, 0.5| 和 |0.8, 0.8| 时 再 运行 一 次 。 分 析 观 察 到 的 现象 。 
考虑 概率 空间 (02, 多 已 ), 其 中 人 2=[0, 1] ,9 定义 为 有 的 波 雷 尔 集 , 且 PL[0, 上 ] =Y, 0<t<1。 
(a) 用 概率 原理 说 明 P[ 101] =0。 
(b) 确定 在 什么 意义 下 以 下 随机 序列 收敛 : 

(i) XIn,t] =e "tt,n>=0 

(i) XIn,d] =sin(¢+i),n>1 

(iii) XIn,t] = cos"(l),n=0 
(Cc) 如 果 上 述 序列 收敛 , 则 其 板 限 值 为 多 少 ? 
相互 独立 的 随机 变量 [nj] 的 各 元 素 的 概率 密度 具有 如 下 形式 : 

2 
fx (zm) = @ :) 二 exp | 5 (z 一 1o) | To exp( oT)u(z) 

确定 下 述 情 况 下 随机 序列 XX[n] 是 否 收 敛 。 
(i) 在 均 方 意义 下 
(站 ) 概 率 
《这 ) 分布 
随机 序列 XT72] 中 元 素 的 联合 概率 密度 具有 如 下 形式 : 





fx(a,B;m,n) = 元 二 元 exp ( a u 7 [m2a2 — 2pmnap 十 "|) 
满足 m 三 1 和 nn 三 1, 其 中 -1 <p <+1。 
(a) 证 明 X[n] 当 nn 一 % 时 对 所 有 -1 < p <+1 在 均 方 意义 下 收敛 。 
(b) 确 定 均 方 极限 和 Alim，。X[2] 的 CDF。 
列 出 一 个 高 斯 随机 变量 序列 的 均 方 极限 仍 为 高 斯 条 件 。 
设 X[n] 为 n 宇 0 的 实 随机 序列 , 组 成 平稳 的 、 独 立 的 增 量 , 即 X[n] -和 [2 -1] =WLn],“ 增 量 ” 
W[n] 为 一 个 平稳 独立 的 随机 序列 。 随 机 序列 总 是 起 始 于 立 [0] =0。 我 们 还 知道 在 n=1 时 , B1X[1]| = 
7, VarlX[1]| = oo 
(a) 求 jx[n] 和 cx[2], 随机 序列 卫 在 n(n>1) 时 刻 的 均值 和 方差 函数 。 
(b) 证 明 X[n]/n 当 nr 趋向 于 无 穷 大 时 依 概率 收敛 于 mn。 
这 个 问题 论证 p 收敛 说 明了 在 分 布 意义 上 收敛 , 即使 当 极 限 概率 密度 不 存在 。 
(a) 对 任意 实数 x 和 任意 正 数 e, 证 明 

PIX< x—éel< PIX[n] < z]+ PIIXIn] — X|z a 








(b) 同样 证 明 
PIX >z+el< PIX[In] > z]+PI[|IX[In] — X|> al 
(c) 中 假设 随机 序列 [Ln] 依 概率 收敛 于 随机 变量 闵 。 
(c) 设 nn 一 %, 则 在 本 的 连续 点 上 有 
im Fx(z;n) = Fx(7) 
设 X[n] 为 一 个 二 阶 随机 序列 , h[nj] 为 LSI 系统 的 冲 激 响 应 。 我 们 希望 定义 系统 输出 开罗 ] 为 均 方 极限 。 
(a) 证 明 我 们 可 以 定义 均 方 极限 为 


十 co 
Yl[nl a > h[k]X[n — k], 一 oo <Nn<+to0, (m.s.) 
大 一 一 co 
如 果 对 所 有 % 满足 
》 >》 hiallRxxIn— k,n—l<o0 
夏天 


+N 


(提示 : 设 Y[n] A 》 ,RLE]X[n - 1] ,用 柯 西 收敛 准则 来 证 明 PyLnj] 的 m.s 极 限 存在 )。 


k=—N 
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(b) 当 XLnj] 为 一 广义 平稳 随机 序列 时 , 找 一 个 更 简单 的 条 件 。 
(Cc) 当 X[n] 为 (平稳 ) 白 噪声 时 , 求 关 于 h[n] 的 必要 条 件 。 








8.54 ”如 果 承 [nj] 为 一 个 定义 在 n 二 0 上 的 蒜 序 列 , 证 明 对 所 有 n 大 0 有 
E{X[n + mllX[m),.…:, X[0]} = XIm] 
8.55 设 了 Ln 为 一 随机 序列 , 为 一 随机 变量 , 考虑 条 件 期 望 
E{XI|Y[0],:….,Y[n]} 会 Gfm] 
证 明 随 机 序列 G[?%] 为 一 个 款 序 列 。 
8.56 我 们 可 以 将 蒜 序 列 的 定义 扩展 如 下 : 设 对 每 个 ?2 = 0, 可 测 函 数 g 有 G[n] Ag(X[0],…, X[N])。 
如 果 
BIGLn]XL0],…,X[n -1 =G[2 -1], 则 G 为 一 个 关于 习 的 蒜 序 列 
(a) 证 明 根 据 定理 8.8-3, G 仍 为 关于 的 拷 序 列 。 特 别 地 , 在 定理 的 表述 中 需要 做 些 变化 , 即 用 G 
取代 承 。 
《b) 证 明 根 据 蒜 收敛 定理 8.8-4，G 仍 为 关于 X 的 蒜 序 列 。 
8.57 考虑 假设 检验 问题 , 对 随机 序列 基 的 (n+1) 次 观测 了 [0] ，…, 和 [2], 定义 似 然 比 
Lwinl 会 fx(X[0],…, XIn]|Hi) 本 
x 站 六 (XIO ,和 由 Bo 
对 应 两 种 假设 五 和 五。 证 明 在 了 厂 假设 下 , ZEx[?2] 为 一 个 关于 互 的 款 序 列 。 

8.58 在 例 8.4-7 中 有 关内 插 的 讨论 , 解释 在 得 到 上 采样 的 随机 序列 了.[n] 的 功率 谱 密 度 所 需要 的 代数 关 
系 式 。 

8.59 ”在 内 插 过 程 中 的 上 采样 的 随机 序列 X,[n] 很 显然 不 是 WSS, 即使 X[n] 是 WSS。 通过 随机 化 序列 X[n] 的 
起 始 时 刻 , 可 产生 一 个 上 采样 的 WSS 随机 序列 。 即 定义 一 个 二 元 随机 变量 9, 满足 P[@ =0] = 
PL[@=1] =0.5。 用 ,Ln] eaX[2+@] 定 义 随机 起 始 时 刻 的 序列 , 则 得 到 的 上 采样 序列 为 X.[n] = 
对 “ | 证 明 当 k 为 奇数 时 Rx,x, Lk] =Rxxlk] 和 Rxxe lm, 人 +k] =Rxoxer Lk] =0. BRyx [ k/2 ] 
当 大 为 偶数 时 为 零 。 
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第 9 章 随机 过 程 


上 一 章 给 出 了 从 随机 变量 到 随机 序列 的 定义 。 只 需 将 < e 0 的 每 个 输出 与 一 个 样本 序列 
对 应 起 来 , 就 得 到 了 一 簇 样本 序列 , 我 们 称 其 为 随机 序列 。 这 些 序 列 2 通过 一 个 离散 的 ( 整 
数 ) 参 量 n 来 排序 。 这 一 章 我 们 考虑 连续 参量 的 随机 函数 。 考 察 的 连续 参量 可 以 是 时 间 , 也 可 
以 是 位 置 或 角度 , 或 者 其 他 的 连续 参量 。 所 有 这 些 连续 时 间 函 数 的 集合 称 为 一 个 随机 过 程 。 
随机 过 程 可 能 是 我 们 学 习 最 有 用 的 对 象 , 因为 它们 可 以 用 来 直接 对 物理 过 程 建 模 , 而 不 需要 对 
数据 进行 采样 。 甚 至 当 一 定 要 处 理 采 样 数据 时 ， 随 机 过 程 的 概念 也 可 以 让 我 们 对 有 限 的 连续 
过 程 套用 采样 序列 的 性 质 判 断 采 样 速率 是 否 足够 。 

随机 过 程 有 着 广泛 的 应 用 。 其 中 应 用 最 普遍 的 是 作为 物理 系统 中 的 噪声 模型 ， 要 想 减 弱 
噪声 带 来 的 负面 影响 , 最 好 的 方法 就 是 首先 对 其 建 模 , 第 二 类 应 用 则 对 虽然 不 是 噪声 但 对 系统 
设计 者 来 说 仍然 是 未 知 的 这 类 随机 现象 的 建 模 。 例 如 通信 和 链 路 中 的 多 媒体 信号 (音频 、 图 像 或 
视频 ) 。 这 个 信号 虽然 不 是 噪声 , 但 对 于 一 个 具有 一 定 距离 的 接收 者 来 说 它 是 未 知 的 , 并 且 可 
以 取 任 意 值 。 因 此 , 当 这 些 信号 的 统计 类 型 是 变化 的 时 , 我 们 用 随机 过 程 来 对 它们 建 模 。 这 种 
情况 在 控制 系统 、 模 式 识 别 等 问题 中 也 会 产生 。 实 际 上 , 从 信息 论 的 角度 看 , 通信 系统 中 的 波 
形 也 是 具有 一 定 随 机 性 的 。 

我 们 从 随机 过 程 的 定义 开始 学 习 , 然后 对 处 理 连 续 时 间 时 遇 到 的 一 些 难点 问题 进行 研究 。 
然后 对 照 这 个 随机 过 程 的 时 间 函 数 依据 第 8 章 学 习 的 方法 对 这 种 连续 参量 的 情况 生成 其 相关 
函数 和 协 方差 函数 。 我 们 还 将 学 习 一 些 在 实际 中 非常 重要 的 基本 随机 过 程 。 然 后 开始 学 习 线 
性 系统 和 随机 过 程 。 事 实 上 , 这 是 我 们 学 习 随 机 过 程 的 核心 问题 , 在 实际 中 得 到 了 广泛 的 应 
用 。 之 后 , 根据 随机 过 程 其 统计 特性 的 不 同 对 其 进行 分 类 。 最 后 , 介绍 平稳 和 广义 平稳 随机 过 
程 及 其 线性 系统 分 析 。 


9.1 基本 定义 


完整 地 理解 随机 过 程 的 基本 定义 以 及 相关 的 其 他 函数 是 非常 重要 的 。 第 8 章 分 析 的 是 将 
模拟 信和 号 转换 成 离散 时 间 序 列 的 情况 , 现在 主要 的 新 间 题 是 时 间 轴 为 不 可 数 的 , 我 们 将 从 基本 
定义 开始 讨论 。 

定义 9.1-1 设 (Q, .了 ) 为 一 概率 空间 。 定 义 一 个 从 样本 空间 只 到 一 个 连续 时 间 函 数 
空间 的 映射 和 。 这 个 空间 中 的 元 素 被 称 为 样本 函数 。 如 果 对 每 一 个 固定 的 时 刻 t， 映射 是 一 个 
随机 变量 ， 即 对 实 轴 一 o <t < +% 上 的 每 一 个 固定 的 t,(t,L) E 罗 四, 那么 ,这 个 映射 就 
称 为 随机 过 程 。 

这 样 我 们 就 有 了 一 个 多 维 函 数 和 (ti ) ,对 应 于 每 一 个 确定 的 实验 结果 7, 它 是 一 个 普通 
的 时 间 函 数 , 而 对 于 某 一 确定 时 刻 t, 它 是 一 个 随机 变量 。 图 9. 1-1 中 样本 空间 Q 对 应 的 是 连 
续 时 间 区 间 [0, 10] 的 特殊 情况 。 如 果 沿 时 间 轴 观察 , 则 得 到 一 簇 以 时 间 tt 标注 的 随机 变量 ， 
如 果 沿 样本 轴 观 察 ， 则 得 到 一 徐 以 实验 结果 标注 的 时 间 函 数 。 





@ eI 是 16:X(Z) < w| CF 的 缩写 。 这 个 条 件 允 许 我 们 对 这 类 事件 的 概率 进行 测量 , 并 因此 引出 了 CDF 的 定义 。 
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X(t,¢) 





图 9.1-1 对 应 连续 样本 2 = [0, 10] 的 一 个 随机 过 程 


以 下 列举 一 些 随机 过 程 的 基本 例子 。 

例 9.1-1 (简单 过 程 )(t, Li) =X(L)f(t), 其 中 耻 是 一 个 随机 变量 , 是 一 个 关于 时 间 
的 确定 函数 。 一 般 将 其 表示 为 X(t) =Xf(1)。 

例 9.1-2 (随机 正弦 波 )X(t, Zi) =A(L)sin(wot+O@(L))，, 其 中 A 和 OB 是 随机 变量 。 一 
般 将 其 表示 为 卫 (t) =Asin(wot + @)， 省 略 了 实验 结果 《。 


从 随机 序列 中 还 可 构造 出 很 多 随机 过 程 的 典型 例子 。 

例 9.1-3 X(t)= 了》 X[n]p,(t 一 7T[n]), 其 中 XX[n] 和 7T[n] 是 随机 序列 ,函数 Dr (区 
是 可 具有 任意 形状 的 确定 波形 。 例 如 , Du(t) 可 以 是 理想 的 单位 阶 跃 函数 ,这样 就 构造 了 一 个 
被 称 为 “ 跳 过 程 ” 的 模型 。 T[n] 是 到 达 时 间 , 尺 [n] 是 跳跃 的 幅度 。 及 (1t) 表示 的 是 t 之 前 所 有 
时 间 的 幅 值 。 如 果 XX[n] 始终 为 1， 则 及 (t) 为 一 个 计数 过 程 ， 它 将 对 先 于 t 到 达 的 数目 进行 
计数 。 

如 果 对 随机 过 程 在 扣 到 这 nn 个 时 刻 进行 采样 ,可 以 得 到 一 个 n 维 随机 向 量 。 如 果 这 个 
随机 向 量 从 厂 到 志 这 nn 个 时 刻 的 概率 分 布 已 知 , 则 显然 对 这 个 随机 过 程 我 们 知之 其 多 。 如 果 
所 有 这 些 信息 都 知道 , 则 说 这 个 随机 过 程 “ 统 计 特性 ”已 知 , 与 随机 序列 的 情况 类 似 。 

定义 9.1-2 随机 过 程 了 (t) 是 由 它 的 nn 阶 CDF(pdf 或 PMF)Fy(zi, Vo, ,Yn; 在， 
t,， ca t,, ) 的 一 个 完备 集 来 统计 描述 的 ， 其 中 7 为 所 有 正 整 数 ， wl, XV»， “ Tn 为 实数 ， 
一 0 <t <t < < 加 < 十 oo 

“统计 ”这 个 词 来 源 于 我 们 从 积累 相关 的 事件 发 生 的 频数 中 得 到 信息 。 显 然 , 这 是 对 我 们 希 
望 建 模 的 随机 过 程 x(t) 通 过 测量 预期 能 够 得 到 的 。 但 是 , 问题 来 了 : 这 些 信 息 就 足以 完全 描述 
这 个 随机 过 程 了 吗 ? 显然 不 是 , 我 们 需要 一 个 连续 的 样本 函数 x(t), 参见 下 面 的 例子 。 

例 9.1-4 (来 源 于 Karlin 1 ) 设 U 是 服从 [0, 1] 之 间 均 匀 分 布 的 随机 变量 , 定义 随机 过 
程 X(ti) 和 Y(t) 如 下 : 
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ro 全 征 
Y(t) 会 0 对 于 所 有 + 
Y(t) 和 尺 (t) 具 有 相同 的 有 限 阶 分 布 , 但 显然 以 下 两 个 事件 的 概率 是 不 同 的 : 
{ 关 (t) < 0.5 对 于 所 有 t} 
和 
{Y(t) < 0.5 对 于 所 有 妇 
为 了 证 明了 (t) 和 X(t) 具 有 相同 的 n 阶 概率 密度 , 需要 找到 UU=W 时 导 的 nn 阶 条 件 概 率 密 度 ， 
然后 对 口 积 分 求 出 结果 。 这 个 问题 留 给 读者 做 练习 。 


例 9. 1-4 的 问题 是 互补 事件 X(t) >0.5 对 某 些 t e [0, 1]| 中 包括 了 不 可 数 个 随机 变量 。 
然而 , 统计 测定 和 扩展 的 可 加 性 公理 4( 参 见 8.1 节 ) 只 允许 我 们 对 可 数 的 随机 变量 的 概率 进 
行 评估 。 接 下 来 , 通常 假 设 随机 过 程 “足够 连续 "”, 有 限 阶 分 布 函 数 簇 就 是 以 确定 这 个 随机 过 
程 所 有 时 刻 的 值 ?。 这 种 过 程 被 称 为 “可 分 的 "。 上 述 例 子 中 的 随机 过 程 X() 显然 是 不 可 
分 的 。 

正如 随机 序列 的 情况 , 矩 函 数 在 实际 应 用 中 发 挥 了 重要 的 作用 。 均 值 函 数 , 用 jwx(t) 表 
示 , 定义 为 


nx(t) 人 SEX(), -%<t<+o% (9. 1-1) 
类 似 地 , 相关 函数 定义 为 随机 变量 共 恩 积 的 均值 
Rxx(t1,t2) SE[X(t)X*(ta)], -0% <t1,t2 < 二 oo (9.1-2) 


协 方差 函数 定义 为 中 心 过 程 Xe(i A X(t) -jx(t) 在 志和 所 时 刻 共 斩 积 的 均值 
Kxx(t1,t2) S E[Xc(t1) X(t2)] 
S E[(X(t) — px (th)(X(t2) — px(t2))"] 
显然 这 三 个 函数 并 不 是 没有 关系 的 , 事实 上 我 们 有 
Kxx(ti,t2) = Rxx(ti,t2) — Hx (ti)Wx (t2) (9. 1-4) 
我 们 一 般 也 将 方差 定义 为 oX(t) AKxx(t,t) =B[1X.(t) 1]，, 功率 函数 Rxx(t, 1) =B[LIX(t) 1 ]。 
例 9.1-5 (再 论 随机 正弦 波 ) 设 随机 过 程 
X(t) = Asin(wot + O) 
其 中 A 和 0O 是 相互 独立 的 实 随 机 变量 , @ 在 [ -mT，+m] 上 服从 均匀 分 布 。 对 这 个 正弦 随机 
过 程 ， 可 以 得 到 均值 函数 和 相关 函数 分 别 为 
Lx(t) = E[Asin(wot + ©)] 
= ElAlElsin(wot + ©)] 


i 
= sin(wot + 0)d0 


(9.1-3) 


=h4a0=0 





Q@ 9.3 节 介绍 的 白 噪声 是 一 个 例外 。 
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Rxx(ti,t2) = E[X(t1)X"(t2)] 
= E[A?sin(wot1 + ©) sin(wotz + ©)] 
= E[A?]Elsin(woti + ©) sin(wotz + ©)] 
利用 三 角 恒等式 
sin(B)sin(C) = 3{cos(B— COC)— cos(B+ CO)} 
第 二 项 可 写 为 
3{Elcos(wo(t1 —t2))] — Elcos(wo(t1 + t2) + 2©)]} (9. 1-5) 
由 于 @ 在 [ -站 ，+T] 上 均匀 分 布 ， 式 (9.1-5) 中 第 二 个 数学 期 望 为 零 ， 最终 得 到 
Raa(5 , 攻 ) =B[A’]coswo lt -让 ) 
我 们 注意 到 jx(t) =0( 常数 ), Rxx(i, 三 ) 只 与 时 间 差 而 - 刀 有关 ,这 类 随机 过 程 在 9.4 节 
中 被 称 为 广义 平稳 随机 过 程 。 
像 离散 时 间 信号 那样 , 相关 函数 和 协 方差 函数 是 共 轿 对 称 的， 即 
Rxx(ti,t2) = Rxx(t2,t1) 
Kxx(ti,t2) = Kxx(t2,t1) 
直接 根据 均值 算 子 五 的 线性 特性 可 得 到 。 
如 果 对 随机 过 程 在 乒 , 刀 ,…，, 加 这 六 个 时 刻 进行 采样 , 则 构造 了 一 个 随机 向 量 。 我 们 已 
经 知道 ,一 个 随机 向 量 的 相关 或 协 方差 矩阵 必须 是 半 正 定 的 (参见 第 5 章 ) 。 当 然 这 对 随机 过 
程 的 相关 函数 和 协 方差 函数 提出 了 一 定 的 要 求 。 具 体 来 说 , 每 一 个 由 相关 ( 协 方差 ) 函数 得 到 
的 相关 ( 协 方差 ) 矩阵 必须 是 半 正 定 的 。 接 下 来 我 们 定义 半 正 定 函 数 。 


定义 9.1-3 如 果 对 所 有 的 和 <ts <… < 加 以 及 所 有 的 复 常数 o ，aa ，…，Qx 满足 
N 
pe g(ti,t;) 0 
i=1 j=1 
则 二 维 函 数 g(t,s) 是 半 正 定 的 。 
运用 这 个 定义 , 可 以 说 , 所 有 的 相关 和 协 方差 函数 必须 是 半 正 定 的 。 稍 后 我 们 将 看 到 , 这 
个 必要 条 件 也 是 充分 的 。 虽 然 半 正定 是 一 个 重要 的 约束 , 但 很 难 应 用 这 个 条 件 来 对 提出 相关 
函数 的 合法 性 进行 测试 。 
相关 和 协 方差 函数 的 男 一 个 基本 的 属性 是 对 角 优 势 ， 即 
IRxx(t,s)| < VRxx(t,t)Rxx(s,s)， 对 于 所 有 t,s 
这 可 由 柯 西 - 施 瓦 茨 不 等 式 得 到 [参见 式 (4.3-17) ] 。 半 正定 矩阵 就 意味 着 对 角 优势 , 但 这 是 个 
较 弱 的 条 件 。 


9.2 一 些 重 要 的 随机 过 程 


在 这 一 节 中 将 介绍 几 个 重要 的 随机 过 程 。 我 们 从 异步 二 进 制 信号 (ABS) 和 随机 电报 信号 
(RTS) 开 始 , 然后 是 泊 松 计数 过 程 , 相 移 键 控 (PSK) 随机 过 程 , 一 个 数字 调制 信号 实例 以 及 由 
随机 游 动 序列 的 极限 所 构造 的 维 纳 过 程 , 最 后 介绍 更 广 一 类 的 马尔 可 夫 过 程 。 
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异步 二 进 制 信号 


图 9. 2-1 是 异步 二 进 制 信号 (ABS ) 的 一 条 样本 函数 ( 对 数字 调制 和 计算 机 非常 重要 ) 。 每 
个 脉冲 的 宽度 为 了 ,随机 变量 X, 表示 第 ?个 脉冲 的 高 度 ， 等 概率 取 +a。 





图 9.2-1 异步 二 进 制 信号 (ABS) 的 一 条 样本 函数 ( 设 D=0) 


序列 是 异步 的 , 这 是 因为 第 nn 个 脉 串 的 起 始 时 间 , 或 者 第 零 个 脉冲 的 位 移 D 是 在 
of - 去， 去 ) 上 均匀 分 布 的 随机 变量 。 对 于 1 所 -二 1 < 也 ,采样 时 刻 忆 和 采样 时 刻 二 可 能 在 同 


一 个 脉冲 内 ,也 有 可 能 在 不 同 的 脉冲 上 。 
ABS 过 程 可 以 用 数学 模型 描述 为 


X(t) = > lL 一 > 二 | 
其 中 脉冲 (和 矩形 窗 ) 函数 w(t) 定义 为 
A [1, 由 志 雪 
w(t) = I 2 


这 个 实 过 程 的 相关 函数 为 
Rxx(ti,t2) = E[X(t1)X(t2)] 


ti—-D—nT ta2— D-IIT 
ne 


在 ABS 过 程 中 , 假定 不 同 脉冲 的 电 平 是 独立 的 随机 变量 , 并 且 独 立 于 随机 位 移 人 了。 由 于 nz 
时 [XX,] =E[LX,]ELX,], ELX,] = ， 于 是 得 到 


Rxx(tnts) 一 中间 ; (一 有) w | 
+ ,EXn]EIXI|E ; (2 5 =) i 6 三 | 


nx!l ! 


式 子 右边 的 第 二 项 包括 nL 的 条 件 , 因为 BLX,] =ELX,] =0, 所 以 
A 
(多 )e 


= 1 | 
n 本 t2 一 地 一 nT 


to —t to—t 
= (1- 时 #5) “(2), t2 > 


BE 
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更 一 般 地 , 定义 T&A-- 妇 三 0 ,由 于 w(171) =w(7), 可 以 得 到 
Rxx(7) =a? @ - 了 w (元 ) (9.2-1) 
式 (9.2-1) 还 可 以 直接 推广 到 任意 两 个 电 平 之 间 等 概率 转换 的 情况 下 ,比如 w 和 5b, 此 时 
需要 的 修改 为 
Rexm = 地 -时 ) w( 千 )+ ( 守 :) 


我 们 将 这 个 求解 过 程 留 给 读者 作为 练习 。 图 9.2-2 中 显示 的 是 a =1, b=0 以 及 T=1 时 ABS 
的 自 相 关 函 数 Rx(7)。 








图 9.2-2 a=1, b=0 以 及 T=1 时 ABS 的 自 相 关 了 水 数 Rxx(7) 


泊 松 计数 过 程 
设 过 程 N(t) 表 示 到 时 刻 t 所 有 计数 ( 到达) 的 数目 。 则 N(t) 可 以 写 为 
N(t) 兰 汪 u(t — Tn]) 


n=1 
其 中 尺 (t) 是 单位 阶 跃 函数 , 了 [n] 是 第 个 到 达 的 时 间 , 它 是 例 8. 1-11 中 提 到 的 时 间 随 机 序 
列 。 我 们 已 经 证 明了 7 [rn] 服从 非 平稳 的 一 阶 Erlang 密度 
n—1 

fr(t;n) = mr i Ae-Mult), nz0 (9.2-2) 
这 是 对 指数 概率 密度 的 双重 卷 积 得 到 的 结果 。 图 9.2-3 Nu) 
给 出 了 一 个 典型 的 样本 函数 , 其 中 TL[n] =t,, 7[n] =Tn， 
注意 各 个 到 达 之 间 的 时 间 

TIn] STIn) -TIn—1] 

称 为 到 达 时 距 , 它们 是 联合 独立 且 同 布 的 , 且 服 从 指数 
分 布 








O20 ND a 


fr(t) = Me "tu(t) 
这 在 例 8. 1-11 中 已 证 明 。 因 此 如 果 从 t=0 开始 计 h 名 而 ta 右 
数 , 则 7T[n] 就 表示 了 直到 第 ? 次 到 达 之 前 的 所 有 图 9.2-3” 泊 松 过 程 的 一 条 样本 
时 间 。 函数 在 [0,% ) 上 
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NGCb) 是 上 时 间 以 前 (包括 上 时 刻 ) 总 的 到 达 数 目 , 所 以 
PIN(t)=7n]= PITIn] <t,TIn+1] >4 
因为 只 有 妆 随 机 变量 7 了 [nj] 小 于 或 等 于 t 以 及 随机 变量 TLn+1] 大 于 tt 时, N(t) 才 能 等 于 n。 
如 果 将 独立 的 到 达 时 距 代 入 , 则 这 个 概率 可 表示 为 
PITIn| <t,Tn+1] >t— Tn 
运用 到 达 时 间 7[n] 与 到 达 时 距 rL? +1] 的 统计 独立 性 , 很 容易 计算 出 如 下 结果 : 


t | cc 本 加 t 和 nan 一 Ie 一 Aa ce 人 


| a ga) Are— Mt/(n— 1)! u(t) 
利用 Py(n; t) APIN(t) =n! 


, e— Mu(t), t 0, n=0 (9.2-3) 


这 样 就 得 到 了 泊 松 计数 过 程 的 PMF。 注 意 到 , 它 与 泊 松 随机 变量 (均值 为 j=At) 的 PMEF 相等 
[参见 式 (2.5-13) 和 式 (1.10-5)], 则 





Pn(n:;t) = 


E[IN(t) = Xt (9.2-4) 

我 们 称 A 为 平均 到 达 率 (有 时 也 被 称 为 强度 ) 。 这 是 符合 大 家 的 直观 认识 的 , 泊 松 过 程 在 时 间 
t 的 均值 等 于 平均 到 达 率 和 乘 以 时 间 间 隔 (0, 的 长 度 , 具体 的 分 析 留 给 读者 课 后 练习 。 

由 于 随机 序列 T[n] 具 有 独立 的 增 量 ( 参 见 定义 8. 14), 泊 松 过 程 定义 所 用 的 单位 阶 跃 函 数 
是 因果 的 , 泊 松 过 程 N(t) 也 有 独立 的 增 量 看 起 来 是 合理 的 。 然 而 , 这 样 的 结果 是 不 明确 的 ， 因 
为 联合 独立 的 到 达 时 距 r[n] 可 能 分 布 在 两 个 不 相交 区 间 ， 从 而 造成 邻近 增 量 的 依赖 。 然 而 , 利 
用 指数 PDF 的 无 记忆 性 (参见 习题 9.8) , 我 们 可 以 证 明 泊 松 过 程 确实 具有 独立 增 量 的 特点 。 

利用 独立 增 量 , 可 以 得 到 泊 松 计数 过 程 在 区 间 ( 刀 , t, ) 增 量 的 PMF 为 


PIN(ts) — N(ta) = 17] = Rl ta) Xe) ln) (9.2-5) 


其 中 利用 了 时 距 序 列 是 平稳 的 条 件 , 也 就 是 和 为 一 个 常数 。 我 们 用 下 面 的 定义 描述 出 来 。 

定义 9.2-1 一 个 随机 过 程 具有 独立 增 量 , 是 指名 个 随机 变量 的 集合 

天 (一 ai) 

对 所 有 < 所 <… < 志和 所 有 有 三 1 都 满足 联合 独立 性 。 

这 就 是 说 , 当 相应 的 区 间 不 重 共 时 增 量 是 统计 独立 的 。 正 如 在 随机 序列 的 情况 那样 ,独立 
增 量 性 使 得 高 阶 分 布 较 容 易 得 到 。 例 如 , 在 目前 的 情况 那样 , 对 泊 松 计数 过 程 , 假设 >， 
我 们 可 以 写成 

Pn (ni1,n2;ti,to) = PIN(t1) = ni] PIN(t2) — N(ti) = n2 一 7 


_ (At1)™! -At [A(tz —t1)] 2" e— X(ta—t) ul 
nil! (ni2 — n1)! 





ni)u(n2 一 721) 





化 简 后 得 到 
NT (to es yt _Atz 


PN(n1,n2;ti,t2) = i e u(ni)u(n2 — n1), 0<ti<to 
V1 N29 CO— NI1): 


参见 习题 1. 54。 利 用 独立 增 量 性 可 以 给 出 泊 松 计数 过 程 的 男 一 个 定义 。 
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定义 9.2-2 泊 松 计数 过 程 就 是 一 个 增 量 服从 泊 松 分 布 [ 参 见 式 (9. 2-5)] 的 独立 增 量 
过 程 。 
考虑 泊 松 过 程 的 矩 函 数 , 一 阶 矩 已 被 证 明 为 At, 它 是 过 程 的 均值 函数 。 今 妃 三 二 ,我 们 可 
以 利用 独立 增 量 性 计算 相关 函数 为 
E[N(t2)N(t1)] = E[(N(t1) + [N(t2) — N(t)])N (Et)] 
= E[N?(t1)] + E[IN(t2) — N(t1)]ELN(t)] 
= Mi + At? + A(to — t1) M1 
= Ati 十 和 A2tit2 
如 果 刀 < 吉 ， 我 们 只 需 将 公式 中 的 到 和 把 互 换 即 可 。 于 是 对 任意 友和 都 有 结论 
RNN (ti,t2) = EIN(t1)N(t2)] 


(9.2-6) 
= Amin(ti,t2) + Atit> 


利用 式 (9.2 上 4) 和 式 (9.2-6), 可 计算 协 方差 为 

KNN (ti,t2) = Amin(ti, t») (9.2-7) 
因此 我 们 看 到 , 该 过 程 的 方差 等 于 At, 与 均值 相同 , 这 是 从 泊 松 随机 变量 继承 的 属性 。 我 们 还 
看 到 , 协 方差 仅仅 取决 于 所 关注 的 两 个 时 刻 中 较 早 的 那个 。 这 是 因为 可 以 将 Nb 描述 为 一 个 
较 早 的 时 刻 值 加 上 一 个 增 量 , 注意 到 增 量 的 独立 性 以 及 N(t) 在 较 早 的 时 间 意 味 着 它们 之 间 的 
协 方差 必须 为 零 。 因 此 , 这 种 独立 增 量 过 程 的 协 方差 只 是 过 程 的 方差 在 两 个 时 刻 中 较 早 的 
那个 。 


例 9.2-1 (放射 性 物质 监测 ) 在 放射 性 监测 系统 中 ,粒子 计数 过 程 往往 可 用 泊 松 过 程 进 
行 建 模 。 设 计数 器 在 任意 时 间 t 开 始 计数, 持续 计数 70 秒 。 如 果 计 数值 超过 一 个 阅 值 ,假设 为 
,警报 就 会 响起 。 假 设 到 达 率 是 入 ,我 们 想 知 道 ， 当 放射 性 物质 出 现时 报警 器 不 响 的 概率 
大 小 。 

因为 这 是 个 泊 松 过 程 , 我 们 知道 它 有 满足 泊 松 分 布 的 独立 增 量 。 因 此 , 在 区 间 (t, 上 +7o] 的 
计数 值 为 AN, 则 A NAN(t+7T,) -N(t) 是 服从 泊 松 分 布 的， 其 均值 为 ATo, 与 t 无 关 。 计 数 
值 AN 小 于 等 于 No 的 概率 为 





如 果 Vo 很 小 , 我 们 可 以 直接 计算 这 个 求 和 值 。 如 果 AT >>1， 可 以 对 泊 松 分 布 使 用 高 斯 近似 
[参见 式 (1.11-9) ] 。 

例 9.2-2 (两 个 独立 的 泊 松 过 程 的 和 ) 设 Ni (ti) 是 一 个 到 达 率 为 Ai 的 泊 松 计数 过 程 。 
和 N,(t) 是 到 达 率 为 和 As 的 另 一 个 泊 松 计数 过 程 , Ns, 独 立 于 NI。 这 两 个 过 程 的 和 NN(t)A Ni(t)+ 
N,(t) ,可 作为 两 个 独立 机 器 的 故障 总 数 的 模型 ,两 机 器 的 故障 率 分 别 为 Al 和 As。 显 然 N(t) 
也 是 一 个 到 达 率 为 = A1+As 的 泊 松 计数 过 程 。 

为 了 说 明 这 点 ,我们 使 用 泊 松 计数 过 程 的 定义 9. 2-2 并 且 验 证 N(t) 的 这 些 条 件 。 首 先 ， 
如 果 两 个 独立 增 量 过 程 是 联合 独立 的 , 则 它们 的 和 也 是 一 独立 增 量 过 程 。 其 次 ， 对 任意 增 量 
N(t,) —N(t,) (ti, > 万) 3 可 写成 

N(to) — N(ta) = Ni(ts) — Nil(ta) + N2(ts) — N2(ta) 
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因此 , NN 中 的 增 量 是 Wi 和 Vs 两 个 相应 增 量 的 和 。 则 预期 的 结果 就 可 由 这 样 的 事实 得 出 : 两 个 
独立 的 泊 松 随机 变量 的 总 和 也 是 服从 泊 松 分 布 的 ， 且 其 参数 等 于 这 两 个 参数 的 总 和 (参见 
例 3.3-8)。 因 此 , N(t) 中 增 量 的 参数 为 

Mi(tp — ta) + A2(top — ta) = (M+ A2)(to — ta) 


泊 松 计数 过 程 N(t) 可 以 用 几 种 方法 推广 。 我 们 可 以 令 到 达 率 是 时 间 的 函数 。 到 达 率 
A(t) 必须 满足 和 (ti 关 0。 那 么 所 产生 的 非 均 匀 泊 松 计 数 过 程 的 平均 值 就 变 成 了 


Je 过 三 | A(T)d7, t=0 (9.2-8) 


增 量 于 是 变 成 了 独立 的 泊 松 分 布 , 增 量 的 均值 则 由 这 个 时 变 均 值 函数 确定 。 另 一 个 可 能 的 推广 
方法 是 二 维 的 或 空间 的 泊 松 过 程 , 用 于 为 图 像 传感器 的 光子 到 达 或 半导体 晶片 上 的 缺陷 等 建 模 。 


泊 松 过 程 的 另 一 种 推导 


如 果 从 1. 10 节 中 列 出 的 时 间 上 随机 点 的 基本 性 质 去 重新 推导 泊 松 计数 过 程 将 是 非常 有 趣 
的 。 这 里 我 们 采用 本 章 中 用 到 的 符号 重新 推导 。 对 于 小 的 At 

(1)Py(1; t, t+At) =A(t)At+o(At), 

(2)PV(k; t, t+At) =o(At), k>1。 

(3) 在 非 重 秋 区间 中 的 事件 是 统计 独立 的 。 


这 里 的 符号 o( At), 读 做 “小 oh”, 是 指 比 线性 速率 更 快 趋 于 0 的 任何 量 , 因此 
Jim, 
Py(k;t,t + At) = PIN(t + At) — N(t) = 
我 们 注意 到 , 性 质 (3) 是 记录 发 生 在 (0, 相间 事件 数 的 计数 过 程 N(t) 的 独立 增 量 特性 。 
我 们 计算 在 (t, t+7) 中 事件 发 生 k 次 的 概率 Py(k; t, t+7T) 如 下 : 考虑 Py(k; t,t +7 +At)， 
如 果 At 非常 小 , 考虑 到 性 质 (1) 和 (2), 则 要 想 在 (t, t+7 +At) 中 事件 发 生 k 次 , 只 有 如 下 两 
种 可 能 : 


三 0 





忆 ! = {在 区 间 (t,t 十 7) 和 0 在 区 间 (t 十 7,t 十 7 十 人 At)} 
Ez = {一 1 在 区 间 (t,t 十 7) 和 1 在 区 间 (t 十 7,t 十 7 十 At)} 
由 于 石和 ,是 不 相交 事件 , 将 其 概率 相 加 ， 可 得 到 
Pn(k;t,t+7T+ At)= Py(k;t,t+7T)PN(0;t+7,t+7+At) 
+ Py(k—1;t,t+7T)PN(l;t+7,t+7T+At) 
= Pn(k;t,t+7T)[l — A(t+7)AH 
+ Py(k—1;t,ti+7T)A(t+7T)At 
将 上 式 整 理 , 除 以 At, 并 取 极 限 , 则 得 到 线性 微分 方程 (LDE) 
dPw(k;t,t +7) 
dT 
这 样 我 们 就 得 到 了 一 组 递归 的 一 阶 微分 方程 , 令 Py( -1; t, t+7) =0, 因为 这 是 一 个 不 可 能 
事件 的 概率 , 于 是 , 由 上 述 一 阶 微分 方程 可 以 解 出 Py(k; t, t+7) ,k=0,1,…。 同 时 , 为 了 
简化 符号 , 暂时 定义 Py(k) APv(k; t, t+7), 这 样 , 对 t 和 7 的 依赖 就 隐 去 了 , 但 依然 存在 。 


= A(t+7T)[Pvy(k—1;t,t+7)— PN(k;t,t+7)] 
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当 k=0 时 
dPn(0) _ 
dT 


这 是 一 个 简单 的 一 阶 齐 次 微分 方程 , 由 于 Pv(0; t,t) =1, C=1 和 
t+7 
Pr(0) = ep -| (Sa 





一 A(t + 7)PN(0) 


求 得 解 为 
t+T 
moO=cep|-| Melde 
我 们 用 下 式 来 定义 jw: 
大 t+7 
x | A(6de 
则 


PN(0) 一 :合作 
当 k=1 时 , 这 个 微分 方程 为 
et 二 A(t+7)PN(l1) = A(t+ 7)PN(0) 
(9.2-9) 
一 和 (tf 十 T)e * 
这 个 一 阶 非 齐 次 方程 的 解 是 齐 次 方程 的 通 解 加 上 特 解 。 对 于 通 解 已 , 我 们 从 k=0 的 情况 已 经 
知道 
有 记 三 Coe 
对 于 特 解 P,, 采用 参数 变 分 法 , 设 
P=v(t+T)e “ 
其 中 v(t+7) 是 要 求 的 差 。 将 这 个 方程 代入 式 (9. 2-9)，, 很 容易 得 到 
本 三 /中 
则 完整 的 解 为 Py(1) =P +P,。 由 于 Py(1; t, t) =0, 可 以 得 到 Cs =0, 于 是 
Pn(1)= Ue" 
一 般 情 况 ”一 般 情 况 下 LDE 为 
SN) (e+ 7) Pw(k) = A + 7)PN(k —1) 
通过 归纳 , 可 以 得 到 


应 
PN(k)= Te ", k=0,1,. 


oT 
这 是 关键 的 结果 。 回 顾 一 下 的 定义 , 可 以 得 到 
1 t 十 7 大 t+7 
Pn(k;t,t+7)= 而 | Meldt exp - | Melde| (9.2-10) 


于 是 我 们 得 到 了 非 均匀 的 泊 松 计数 过 程 。 
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男 一 种 推广 泊 松 过 程 的 方法 是 对 独立 的 到 达 时 距 使 用 不 同 的 pdf。 一 个 更 一 般 的 过 程 , 被 
称 为 “更 新 过 程 ”"”” 采 用 的 就 是 非 指 数 分 布 。 词 语 “ 更 新 " 即 是 将 到 达 时 间 与 设备 的 故障 时 间 
联系 起 来 ; 因此 计数 过 程 N(t) 的 值 模拟 了 到 目前 为 止 必须 补足 的 更 新 数量 。 


随机 电报 信号 


当 一 个 随机 波形 中 所 有 的 信息 都 包含 在 零 交 叉 点 中 , 常用 所 谓 的 “ 硬 限 幅 器 "来 生成 一 个 
更 简单 但 是 等 价 的 双 电 平 波形 , 这 样 就 与 随机 幅度 的 变化 无 关 。 一 个 特殊 的 情况 是 , 当 在 一 个 
时 间 间 隔 内 过 零点 数 服 从 泊 松 分 布 时 ， 由 此 产生 的 随机 过 程 称 为 随机 电报 信号 (RTS ) 。 
图 9.2-4 显示 的 是 RTS 的 一 条 样本 函数 。 

我 们 构建 三 0 的 RTS 如 下 : 令 头 (0) 以 等 
概率 取 +a。 然 后 以 第 8 章 所 提 到 的 泊 松 到 达 时 
间 序 列 了 [2] 的 值 来 切换 RTS 的 电 平 ; 即 在 
TL1] 时 刻 改 变 X(t) 的 符号 , 然后 在 TL2] 时 刻 
又 改变 X(t) 的 符号 , 然后 一 直下 去 。 很 显然 由 
对 称 性 以 及 到 达 时 距 zr[L nj] 的 平稳 性 ,形成 一 个 ' 
独立 的 随机 序列 ,其 均值 jx(t) = 0, 一 阶 PMF | 
Px(a) =Px( -a) =L/2。 接 下 来 令 已 > 五 >0, 并 
考虑 二 阶 PMF P (zi ， 如) AP[X(t) =x,, X 图 9.2-4 随机 电报 信号 的 样本 函数 
(to) =2o] 以 及 Pr(Za121) APLX(ts) =x2 1lX(t) =wi]。 由 于 Px(a) =Px( -a) =1/2, 我 们 
可 将 相关 函数 写成 

Rxx(ti,t2) = EIX(t1)X(t2)] 


= a Px(a,a) +(-a) Px(-a,—a) +a(-a)Px(a, -a) — a(a)Px (~a,a) 





1 
1 
| 
1 
| 
1 
1 
1 
| 
| 
| 
1 
1 
1 
| 
1 


= 302(Px(alo) + Px(~al ~a) ~ Px(-ala) ~ Px(al— a) 
但 是 Px( -al -a) = Pr(ala) 刚 好 是 在 时 距 (已 ] 过 零点 为 偶数 的 概率 , 而 Px( -ala) = 
Px(al -是 过 零点 为 奇数 的 概率 。 因 此 ， 记 每 单位 时 间 转 换 的 平均 数 为 A， 令 4 所 -二 ,可 
得 到 


大 k 
ee 》 et > | =aze- Ar > (-1)* 页 


偶数 人 >=0 奇数 人 上 >=0 所 有 人 大 >0 





其 中 用 函数 ( -1)* 将 两 个 和 联系 起 来 , 因为 当 为 偶数 时 , ( -1)* =1, 当下 为 奇数 时 ,，( -1) = - 
1, 因此 , 当 7 >0 时 , 我 们 有 
Rxx(ti,t2) = a2e—*” 
所 有 上 大 =>0 
由 于 实 过 程 的 相关 函数 是 对 称 的 , 即 尽 s( 志 ,所 ) = 尽 m (三 )， 所 以 当 r 和 0 时 ,可 以 将 -7 
代入 上 面 的 方程 中 ,从 而 得 到 尽 m( 志 , 记 ) =oe ,于 是 , 可 得 到 对 所 有 的 间隔 长 度 7 
Rxx(ti,t2) = aze-2AI| 


图 9.2-5 显示 的 是 这 个 相关 函数 的 图 形 。 


(—AT)® := Q2e 一 2A7 


Kk! 
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Rxx(t, t) 





r=t -tt 


图 9.2-5 一 个 随机 电报 信号 过 程 的 对 称 的 指数 相关 函数 (a = 2.0, 入 = 0.25) 


相 移 键 控 数字 调制 


数字 计算 机 产生 许多 二 进 制 序列 (数据 ), 这 些 序列 被 传递 到 其 他 数字 计算 机 。 这 通常 涉及 
某 种 形式 的 调制 。 二 元 调制 方法 可 将 这 些 数 据 频 移 到 非常 适合 于 传输 介质 (如 电话 线 ) 的 电磁 频 
谱 上 。 用 于 调制 数据 的 一 个 基本 方法 是 相 移 键 控 (PSK) 。 在 这 种 方法 中 ,由 随机 序列 BLn] 建 
模 的 二 元 数据 被 逐 位 映射 成 相位 序列 8[n], 该 相位 序列 用 来 调制 载波 信号 cos(2mf.t) 。 

特别 地 ， 当 B[n] 是 伯 努 利 随 机 序列 , 并 以 等 概率 取 0 和 1 时, 我 们 定义 随机 相位 序列 
OLn] 为 


用 9,(t) 来 表示 模拟 角 过 程 , 我们 定义 
Ost) 人 ESO, kT<t<(k+1)T 
构造 调制 信号 
X(t) = cos(27fct + Oalt)) (9.2-11) 


其 中 7 为 一 个 比特 数据 的 传输 持续 时 间 。 通 常 ,7 选 为 、glnl [而 下 而 可 | 9In] 未 二 从 可 | X 
1/f. 的 倍数 ,这 样 每 比特 时 间 7 内 就 有 整数 个 载波 周 
期 , 7 的 倒数 称 为 消息 或 波 特 率 。 图 9.2-6 是 整个 调制 。 图 9. 2.6 用 伯 努 利 随机 序列 B[n] 
胡 的 示意 图 。 该 过 程 X(t) 是 PSK 过程。 实现 的 PSK 调 制 系统 
我 们 的 目标 是 计算 随机 PSK 过 程 的 均值 也 数 和 相 

关 函 数 。 为 了 便于 计算 , 我 们 定义 两 个 基 函 数 

A fcos(27fct), 0O<t<T 

s1(t) = { 0 其 他 


so(t) A 人 尖 下 


则 式 (9.2-11) 可 以 写成 
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cos[27fct + Oa(t)] = cos(Oalt)) cos2r fet — sin(Oa(t)) sin2nf.t 


十 co foe 
一 > cos(O[k])si(t — kT)— SD sin(O[k])so(t — kT) (9.2-12) 
大 三 一 co 8 


X(t) 的 均值 可 由 cos(B@[nj]) 和 sin(B[n]j]) 的 均值 得 到 。 由 6@[nj] 的 定义 ,在 
cos(@Ln]) =0, sin(9[L7]) 以 等 概率 取 +1 这 种 特殊 情况 下 ,可 得 到 和 (tb) 的 均值 为 0, 即 
x(t) = 

利用 式 (9.2-12), 可 以 计算 相关 函数 为 


Rxx(ti,t2) = >》, E{sin Olk] sin O[l]}so(ti — kT)so(ts — (7) 
k,l 


其 中 包括 了 随机 序列 sin( @[ nj] ) 的 自 相 关 函 数 
Roem QO,sin O[k, 1 < 0[K 中 
于 是 , X(t) 的 自 相关 函数 变 成 了 
十 co 
Rxx(ti,t2) = > sQ(ti — kT)so(t2 — kT) (9. 2-13) 


大 一 一 co 
由 于 so 只 在 [0, 中 有 值 , 所 以 , 在 式 (9.2-13 ) 中 乘积 项 之 间 在 ( 右 ,  ) 上 没有 重 营 的 项 为 零 ， 
在 和 中 只 有 一 个 乘积 项 非 零 。 此 外 , 如 果 反 , 名 不 是 同一 周期 , 则 自 相 关 函 数 也 为 零 。 利 用 符号 
(t) 会 tmod T 和 |t/T| 会 整数 部 分 (t/T) 
可 以 得 到 


Rxx(tuta) = {eat ,i/T) = 由 /中 


其 他 
特别 是 当 0<t<7, 0<t<7T 时 , 我 们 有 
Rxx(ti,t2) = sQ(t1)sQ(t2) 
维 纳 过 程 或 布朗 运 
在 例 8. 1-13 中 介绍 过 一 个 随机 游 动 序列 X[n]。 这 里 , 我 们 构建 一 个 类 似 的 随机 过 程 , 它 
为 分 段 常数 过 程 , 每 段 的 长 度 为 7, 这 个 过 程 表 示 为 


这 (会 Ys WiIkju(t — kT) 


1 
其 中 
A 人 
w(t) 是 连续 的 单位 阶 跃 函数 。 
由 于 
=- Dw- XIn] 


Xr(n7T) =X[n] 是 随机 游 动 序列 。 这 样 , 就 可 以 运用 随机 游 动 序列 的 已 知 结果 计算 这 
的 PMF 和 和 矩 。 维 纳 过 程 (或 被 称 为 维 纳 - 列 维 或 布朗 运动 ) 就 是 这 样 一 个 过 程 ， 0 
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面 所 提 到 的 分 段 常 数 过 程 的 分 布 在 间隔 了 趋 于 零 的 极限 形式 。 令 阶 牙 高 度 s 以 及 时 间 间 隔 都 
趋 于 零 , 就 获得 了 一 个 在 极限 条 件 下 连续 的 随机 过 程 , 也 就 是 , 样本 函数 是 时 间 连 续 函 数 的 这 
样 一 个 过 程 。 在 令 s 和 了 趋 于 零 时 ， 必 须 小 心 确保 方差 为 有 限 的 非 零 值 。 由 此 产生 的 维 纳 过 
程 将 继承 独立 增 量 特性 。 

维 纳 过 程 的 最 初 建立 是 为 气体 分 子 的 混乱 随机 运动 进行 建 模 的 。 用 随机 游 动 为 基本 离散 
碰撞 建 模 , 在 一 个 无 穷 小 的 (非常 小 ) 的 时 间 尺 度 内 无 限 多 (非常 大 ) 的 分 子 相互 作 用 , 因此 得 
到 一 个 渐 近 过 程 。 

在 例 8. 1-13 中 , 设 ?7 为 试验 次 数 ,天 是 成 功 的 次 数 , n -天 为 失败 的 次 数 。7 Ak 一 (n 一 k) = 
2k -nn 表示 成 功 次 数 超过 失败 次 数 的 多 少 。 那么 2k =n +7 或 k= (n+7)/2, 且 必须 是 整数 ; 
不 可 能 有 2.5 次 成 功 。 这 样 , n+7 必须 是 偶数 , Xi(nT) =7s 的 概率 是 在 总 共 n 次 试验 中 , 有 
0.5(n+7) 次 成 功 ( +s) 和 0.5(2 -7) 次 失败 ( -s) 的 概率 ,于 是 根据 二 项 式 的 PMEF, 得 到 


PIXz(nT) = rs] = ( ) 2-” 5 n +7 为 偶数 时 


如 果 ? +7 为 奇数 , 则 Xn(n7T) 不 可 能 等 于 7s。 
只 要 注意 到 随机 变量 [nj] 是 8.1 节 定 义 的 nn 个 独立 的 伯 努 利 随 机 变量 的 和 ， 则 均值 、 方 
差 的 计算 就 非常 容易 了 。 因 此 
E[Xr(nT)] = 
和 
E[X2(nT)] = ms2 
用 t=n7T 代入 方差 的 表达 式 中 , 得 到 


Var[X7(t)] = E[X¥(nT)] = 


这 样 就 需要 s* 与 7 了 成 比例 来 得 到 一 个 有 趣 的 极限 分 布 了 0。 我 们 设 s =a7, 其 中 «>0。 随 着 7 
趋 近 于 0 我 们 保持 方差 始终 为 aT。 由 中 心 极限 定理 的 一 个 基本 应 用 (参见 4.7 节 ), 可 得 到 的 
极限 为 高 斯 分 布 。 由 于 上 述 随机 游 动 过 程 对 所 有 的 7( 无 论 多 小 ) 都 有 独立 的 增 量 , 所 以 取 极 
限 得 到 的 随机 过 程 (在 分 布 意义 下 收敛 ) 为 独立 增 量 过 程 。 因 此 , 可 得 出 以 下 极限 过 程 的 特性 ， 


这 个 过 程 称 为 维 纳 过 程 ， 其 特性 为 
Mix 二 三 和 Var[X()] = 


fxd) = Bn (-: 2 
所 以 对 所 有 t >t, 增 量 AAX(t) Ee ve» 
ep 人 ( jg ps 一) (9.2-15) 


A 


E[X(t)— X(7)| = EIA]= 0 (9.2-16) 


t>0 (9.2-14) 








这 是 由 于 


E[(X(t)—X(7))”|]=a(t—7), 上 >T (9.2-17) 





@@ ss: 与 耻 成 比例 的 物理 含义 是 : 如 果 设 置 颗粒 的 速度 是 v4s/T, 为 了 保持 两 个 量 的 乘积 为 一 个 常数 ， 当 位 移 量 趋 于 零 时 ， 
颗粒 速度 趋 于 无 穷 大 。 
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例 9.2-3 (样本 函数 ) 我 们 可 以 使 用 MATLAB 来 对 维 纳 过 程 的 典型 的 样本 函数 进行 可 视 
化 研究 。 因 为 它 是 计算 机 仿真 的 ， 对 于 固定 的 w >0, 我 们 也 可 以 对 s = VaT 趋 近 于 0 时 对 极 
限 序列 的 影响 进行 评估 。 

从 1000 个 元 素 的 向 量 开 始 , 它 是 伯 努 利 随 机 向 量 WW 的 一 个 现实 , 其 中 p=0.5, 产生 过 程 
如 下 : 


u = rand(1000,1) 


W 0.5 >= u 
下 一 行 是 对 预先 设 定 的 s, 将 w 的 范围 转换 到 土 

W= s*(2*w - 1.0) 
然后 产生 一 段 样本 函数 及 i(nT) = 了 [ni] 作 为 随机 向 量 的 元 素 

X = cumsum(w) 

在 数值 实验 中 , 令 a= 1, T=0.01(s =0.1)。 对 于 T=0.01, 使 用 一 个 1000 维 的 计算 机 
变量 ,得 到 的 结果 X 显示 在 图 9.2-7 中 。 尤 其 值得 注意 的 是 , 在 这 种 接近 极限 的 情况 下 , 方差 
随时 间 的 增加 所 带 来 的 影响 。 还 要 注意 到 随 着 时 间 的 继续 , 这 个 趋势 仍 在 发 展 。 





0 500 1000 1500 2000 2500 3000 3500 4000 
时 间 轴 0.01n 


图 9.2-7 一 个 维 纳 过 程 的 样本 函数 近似 , a =1, 了 =0.01 


从 瑟 的 一 阶 概率 密度 函数 (pdf) 和 增 量 A 的 密度 , 有 可 能 计算 出 rn 阶 pdf 的 一 个 完备 的 
集合 , 正如 我 们 前 面 所 看 到 的 。 因 此 得 出 , 维 纳 过 程 的 所 有 的 7 阶 pdf 是 高 斯 的 。 

定义 9.2-3 如果 对 于 所 有 的 正 整 数 n, 一 个 随机 过 程 的 nl 阶 pdf 都 是 联合 高 斯 的 ， 那么 
这 个 过 程 被 称 为 高 斯 随机 过 程 。 

因此 , 维 纳 过 程 是 高 斯 随机 过 程 的 一 个 例子 。 维 纳 过 程 的 协 方差 函数 (也 就 是 它 的 相关 函 
数 , 因为 jx(t) = 0) 为 

Kxx(ti,t2) =amin(ti,t2), Qa>0 (9.2-18) 
为 了 说 明 这 点 , 假设 刀 三 ,并且 注意 到 增 量 了 (ty) - 耻 (s) 与 X(t) 独 立 , 它们 的 均值 都 
为 0 
E[(X(t1) — X(t2)) X(t2)] = EL[X(t1) — X(t2)]E[LX(t2)] 
= 性 


或 者 
E[X(t1)X(t2)] = ELX*(t2)] 
一 Qt2 

如 果 > ,我 们 得 到 [X(t)X(t)] =ati, 于 是 得 到 式 (9.2-18)。 

我 们 注意 到 , 维 纳 过程 具 有 和 泊 松 过 程 相同 的 方差 函数 , 尽管 这 两 个 过 程 是 完全 不 同 的 。 
泊 松 过 程 仅 是 由 常数 值 隔 开 的 跳 变 组 成 。 维 纳 过 程 则 没有 跳 变 , 并 且 可 以 证 明 是 几乎 处 处 连 
续 的 ; 即 样本 函数 依 概率 1 连续 。 稍 后 , 我 们 将 证 明 , 维 纳 过 程 是 弱 均 方 连续 的 (在 网 上 的 
第 10 章 中 有 更 精确 的 证 明 ) 。 


马尔 可 夫 随 机 过 程 


到 目前 为 止 我 们 讨论 了 五 种 随机 过 程 。 其 中 , 维 纳 和 泊 松 过 程 是 基本 过 程 , 许多 其 他 更 一 
般 的 随机 过 程 已 被 证 明 是 这 两 个 基本 过 程 的 非 线 性 变换 得 到 的 。 在 这 两 种 情况 下 , 通过 运用 
独立 增 量 特性 解决 了 有 联系 的 过 程 n 阶 统计 特性 描述 的 难题 。 事 实 上 , 这 是 一 个 相当 通用 的 
方法 , 开始 我 们 得 到 任意 一 阶 的 分 布 , 然后 指定 增 量 的 分 布 , 从 而 获得 一 组 n 阶 分 布 来 展示 它 
们 的 联系 。 

另 一 种 被 证 明 是 非常 有 用 的 , 由 一 阶 概率 得 到 n 阶 概率 的 方法 是 马尔 可 夫 过 程 方法 。 我 
们 从 一 阶 密度 (或 PMF) 和 条 件 密度 (或 条 件 PMF ) 开始 


fx(zit) 和 fx(z2lzi;ta,t), t2>H 
然后 得 到 nn 阶 pdf f(z …, wi; 厂 ，…) 如 下 : 

fz;t)f (vor1;to,t1) ::: f(Tnlrn1; tn, tn—1) (9.2-19) 
我 们 要 求 读者 证 明 , 这 是 一 个 有 效 的 n 阶 pdf( 即 这 个 函数 是 非 负 的 , 积分 为 1)， 只 要 条 件 和 


一 阶 pdf 定义 良好 。 
相反 ,如 果 从 一 个 任意 的 n 阶 pdf 开始 , 重复 运用 条 件 概率 的 定义 可 以 得 到 
站 (DC | 人 让 在 ) 了 2s|2Z2 1; ta, to,t1) X 
(9.2-20) 
“xX f(TnlTn1, ,Tl;tn, ,tt1) 
如 果 约 束 条 件 概 率 密度 仅 取决 于 最 近 的 条 件 值 , 则 式 (9.2-20 ) 与 式 (9. 2-19) 相 等 。 于 是 引发 
了 下 文 对 马尔 可 夫 随 机 过 程 的 定义 。 
定义 9.2-4 (马尔 可 夫 随 机 过 程 ) 
(a) 连 续 的 (一 阶 ) 马 尔 可 夫 过 程 匀 (1) 满足 条 件 pdf 
fx (Tn|Tn lzn 2 ,Titny ti) = fx (Tn|Tn1;tn, tn-1) 
对 所 有 2 Xo，… ,XY ,ti <t <… <t 以 及 所 有 整数 n>0 都 成 立 。 
(b) 离散 的 (一 阶 ) 马 尔 可 夫 过 程 满足 条 件 PMF 
Px (zalZn-1 01 加 有) = Px (TnlZn-i; tn, tn—1) 


对 所 有 Xi，…， Yi, 二 <… < 万 以 及 所 有 整数 Nh >0 都 成 立 。 


则 (2) 在 某 给 定时 刻 t 的 值 决定 了 这 个 过 程 未 来 值 的 条 件 概 率 。 这 个 过 程 的 值 称 为 过 程 
的 状态 , 条 件 概率 被 认为 是 状态 之 间 的 转移 概率 。 如 果 只 有 有 限 或 可 数 集 的 值 x; 是 允许 的 ， 
则 离散 的 马尔 可 夫 过 程 被 称 为 马尔 可 夫 链 。 马 尔 可 夫 链 的 一 个 例子 是 我 们 之 前 研究 过 的 泊 松 
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计数 过 程 。 维 纳 过 程 是 连续 马尔 可 夫 过 程 的 一 个 例子 。 因 为 它们 的 独立 增 量 性 ,所 以 这 两 个 
过 程 都 是 马尔 可 夫 过 程 。 事 实 上 , 任何 独立 增 量 过 程 都 是 马尔 可 夫 过 程 。 为 了 说 明 这 点 , 我 们 
注意 到 , 对 离散 值 的 情况 , 例如 
Fa 
wi (ty) = Bn (= | 
X(tn_1) = Tn — TniX (tn 1) 三 Zn X(ti) = 1l 


从 (加 ) = 
(tn) 一 

三 了 [X(tn) 一 关 (tn-1) 二 zn 一 Zn-1|] 由 独立 增 量 性 
(tn) 一 
(tn) = 


= PIX tn 





三 PP[X(tn) 一 六 (tn-1) 二 Zn 一 Zn-1|X(tn-1) 二 Xn-1|] ”再 由 独立 增 量 性 

= PIX (hy) = wl thn = 

= Px (Zn|zn-1;tn, t1) 
然而 要 注意 的 是 反 过 来 结论 是 不 成 立 的 。 一 个 马尔 可 夫 随 机 过 程 不 一 定 有 独立 的 增 量 (参见 习 
题 9.17)。 


马尔 可 夫 随 机 过 程 在 许多 领域 都 得 到 了 应 用 , 包括 信号 处 理 , 通信 和 控制 系统 。 马 尔 可 夫 
链 应 用 在 通信 、 计算 机 网 络 、 可 靠 性 理论 等 领域 。 


例 9.2-4 (多 处 理 器 的 可 靠 性 ) 给 定 一 个 有 两 个 独立 处 理 器 的 计算 机 , 我 们 可 以 把 它 看 
成 是 一 个 具有 三 个 状态 的 系统 : 0 一 一 两 个 处 理 器 不 工作 ; 1 一 一 只 有 一 个 处 理 器 工作 , 2 一 一 
两 个 处 理 器 都 工作 。 我 们 想 知 道 这 三 种 状态 的 概率 。 一 个 常见 的 概率 模型 是 处 理 器 出 现 故障 
的 时 间 为 随机 的 ,故障 时 间 服 从 参数 入 >0 的 指数 分 布 。 一 旦 一 个 处 理 器 出 现 故障 , 修复 它 的 
时 间 假 定 同 为 参数 人 >0 的 指数 分 布 。 而 且 假 定 处 理 器 的 故障 和 维修 时 间 是 独立 的 ; 因此 ,在 
我 们 的 概率 模型 中 , 故障 和 维修 时 间 是 联合 独立 的 。 

如 果 定 义 飞 (四 为 志 时 刻 的 系统 状态 , 则 区 是 一 个 连续 时 间 的 马尔 可 夫 链 。 关 于 这 一 点 ， 
我 们 可 以 这 样 证 明 。 首 先 证 明 站 状态 转移 的 时 间 是 服从 指数 分 布 的 ， 然 后 利用 指数 分 布 的 无 
记忆 性 (参见 习题 9.8) 。 分 析 转 移 时 间 ( 故 障 时 间或 维修 时 间 ) 可 以 继续 做 如 下 描述 : 从 状态 
和 =0 到 和 =1 的 转移 时 间 是 两 个 指数 分 布 维修 时 间 的 最 小 值 , 假定 它们 是 相互 独立 的 。 在 习 


题 3. 26 中 已 经 得 到 这 个 时 间 也 服从 参数 为 2 的 指数 分 布 。 则 转移 时 间 期 望 值 为 1/(2u) = 总 


(1/)， 也 就 是 ,维修 一 个 处 理 器 的 平均 时 间 的 一 半 。 这 是 合理 的 结论 ， 因为 状态 全 =0 时 两 
个 处 理 器 都 发 生 故障 ,因此 需要 同时 、 独 立地 接受 维修 , 则 从 状态 0 过 渡 到 状态 1 的 率 参 数 是 
2u。 从 状态 1 过渡 到 状态 2 要 等 待 一 个 速率 为 内 的 指数 维修 时 间 。 也 就 是 ， 它 的 速率 也 为 几 。 
同样 , 状态 1 转移 到 状态 0 只 需 等 待 一 个 率 参 数 为 A 的 故障 时 间 , 而 状态 2 到 状态 工 等 待 两 个 
指数 分 布 的 故障 时 间 的 最 小 值 。 因 此 它 的 率 参 数 是 2A。 同 时 从 状态 0 转移 到 状态 2 和 状态 2 
到 状态 0 的 概率 是 0, 因此 可 以 忽略 。 

图 9.2-8 显示 了 这 个 马尔 可 夫 链 模型 的 短 时 状态 转移 图 。 图 中 的 有 向 支 路 表示 的 是 短 时 ， 
即 当 At-0 时, 状态 之 间 的 转移 概率 。 转 移 时 间 假 设 服 从 指数 分 布 , 分 布 参 数 则 在 分 支 标 签 上 
给 出 。 这 些 转移 时 间 称 为 内 部 转移 时 间 可 能 更 恰当 ,类似 于 泊 松 计数 过 程 的 到 达 时 距 , 它 同样 
服从 指数 分 布 。 

考虑 上 +AL 时 刻 处 于 状态 2 以 及 在 t 时 刻 已 处 于 状态 工 的 概率 ， 则 需要 维修 时 间 7T, (7 了 7, 二 1) 
处 于 间隔 (t, t+At] 之 间 , 令 P,(t) AP[LX(t) = 订 , 其 中 0<i<2, 则 


第 9 章 随机 过 程 411 


P(t+At)= P(t)Plt < Ts< t+AtlT,>=4d 
其 中 


Fr. (t+ At) -一 FT (t) 
一 有 的 


利用 这 类 变量 来 连接 从 上 时 刻 的 状态 到 上 +AL 时 刻 的 转移 概率 ， 忽 略 从 状态 2 到 状态 0 的 转 
移 ,， 使 得 我 们 能 够 根据 上 时 刻 的 状态 概率 写 出 上 +AL 时 刻 的 状态 概率 ， 其 向 量 形式 为 


Po(t+ At) 1 一 24At 入 At 0 Po(t) 
Pi(t+At)|= 2u4At 1—A+nh)At 2AAt Pi(t) | +o(At) 





PE 和 Ts 和 六 2 实 半 二 = JAt + o(At) 


P(t + At) 0 人 At 1 一 2 入 At P(t) 
其 中 oO(At) 表 示 的 是 比 At 低 阶 的 微小 量 。 





1 一 AAt 一 /At 


1 一 24At (Cm) fe) ) 1—2AAt 


图 9.2-8 标明 了 转移 概率 的 短 时 状态 转移 图 


一 2/ 入 0 Polt) 
一 | 2 一 (入 十 /) 2A P(t) | At +o(At) 


0 nun -2A| |P(t) 





整理 后 得 到 


P(t+ At)— Polt) 
Pi(t+ At) — P(t) 
P(t + At) — P(t) 

两 边 都 除 以 Ai, 运用 矩阵 的 表示 ， 可 得 到 
一 Ap(t) (9.2-21) 
矮 阵 4 称 为 马尔 可 夫 链 尺 的 生成 器 。 这 个 一 阶 向 量 微 分 方程 可 以 用 初始 概率 向 量 P(0) 人 Pu， 


运用 线性 系统 理论 '” 求 解 出 来 。 其 解 以 指数 向 量 表 示 如 下 : 


2 
e4t 全 7 十 4t 十 (At)? 二 可 (tb 十 …: 





对 所 有 有 限 的 t+， 上 式 都 是 收敛 的 。 那 么 解 P(t) 为 
P(t) = eAtPo, t=0 
这 种 方法 的 详细 过 程 以 及 如 何 得 到 精确 的 解 参 见 参 考 文 献 [9-4] 。 
目前 , 我 们 通过 将 式 (9. 2-21) 关 于 时 间 的 导数 置 为 0, 可 得 到 稳 态 解 ， 此 时 AP =0。 从 第 

一 行 和 最 后 一 行 ， 可 得 到 

—2uPo 二 AP=0 
以 及 

+ = 2AP ='0 
于 是 我 们 得 到 P = (2y/AA)P, 和 已 =(U2A)P = (1/A) Pi。 然 后 利用 已 + 已 + 已 =1， 可 得 到 
P= 和 A/(A* +2UA + )，, 最 后 得 到 
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二 l 2 21T 
re 和 2 十 21A 十 02 及 | 
这 样 两 个 处 理 器 都 出 故障 的 稳 态 概率 为 Pi =[AX(A + 从) ]?。 而 如 果 我 们 只 用 了 一 个 由 两 状态 


马尔 可 夫 链 建 模 的 处 理 器 , 得 到 的 结果 则 为 Po =A/(A + 凡 ) 。 


显然 我 们 可 以 将 这 个 例子 推广 应 用 到 任意 个 状态 的 情况 , 只 要 这 些 状态 之 间 的 时 间 间 
隐 是 独立 的 且 服 从 指数 分 布 。 事 实 上 , 这 一 过 程 称 为 一 个 排队 过 程 。 其 他 的 例子 如 高 速 公路 
收费 站 的 排队 数 和 计算 机 中 或 电话 网 络 的 拥塞 状态 。 更 多 关于 排队 系统 的 问题 参见 参考 文 
献 [9-2 ] 。 最 后 一 个 例子 中 非常 重要 的 一 点 是 呈 指 数 分 布 的 转移 时 间 在 体现 马尔 可 夫 性 时 是 非 
常 关键 的 。 事 实 上 , 除了 指数 分 布 之 外 的 任何 其 他 分 布 都 是 无 记忆 的 , 由 此 产生 的 状态 转移 过 
程 将 不 会 是 一 个 马尔 可 夫 链 。 


生 - 死 马 尔 可 夫 链 


一 个 只 允许 在 相 邻 状态 中 转换 的 马尔 可 夫 链 被 称 为 生 - 死 链 。 我 们 首先 研究 无 限 状 态 的 情 
况 , 然后 再 研究 有 限 状 态 的 情况 。 


1. 无 限 长 队列 ”图 9.2-99 显示 的 是 无 限 长 队列 的 状态 转移 图 。 从 状态 到 状态 i+1, 我 
们 说 “一 次 出 生 ” 发 生 了 。 同 样 , 从 状态 i 到 状态 -1, 我 们 说 “一 次 死亡 "发生 了 。 在 任何 时 
间 t, P(t) 是 处 在 状态 7 的 概率 , 即 有 “人 口 ”j, 换 句 话说 , 即 出 生 超过 死亡 的 数目 。 在 这 个 
模型 中 , 出 生 是 由 泊 松 过 程 产生 的 。 出 生 之 间 的 间隔 用 rs 表示 , 死亡 之 间 的 间隔 用 rn 表示 ， 
取决 于 状态 而 且 分 别 服从 参数 为 A; 和 j; 指数 分 布 。 该 模型 被 广泛 应 用 在 排队 论 中 , 其 中 一 次 
出 生 是 一 次 到 达 队 列 , 一 次 死亡 是 一 次 从 队列 中 离开 。 一 个 例子 是 排队 等 候 的 人 在 一 个 单一 
的 售票 处 买 票 。 如 果 剧 院 非常 大 而 且 对 排队 的 长 度 没有 限制 (例如 ,队伍 可 能 阻塞 了 人 行道 并 
带 来 危险 ), 即 溢出 和 饱和 先 不 考虑 。 则 队列 的 动态 变化 可 用 基本 方程 W, =max|0, Wi +7。 
-7;| 来 描述 , 其 中 W 是 第 nn 个 到 达 的 人 在 队列 中 的 等 待 时 间 , rs 是 为 第 (2 -1) 次 到 达 的 人 
的 服务 时 间 , 7; 是 第 个 和 第 (nn -1) 个 到 达 的 人 之 间 的 间隔 时 间 。 这 是 不 受 限制 的 队列 长 
度 的 一 个 例子 。 另 一 方面 , 存储 在 一 个 有 限 大 小 的 缓冲 区 的 数据 包 问 题 则 是 一 个 不 同 的 问 
题 。 当 缓冲 区 被 填 满 (饱和 ) 时 , 一 个 新 的 数据 到 来 必然 被 拒绝 (在 这 种 情况 下 , 我 们 说 数据 
包 “ 丢 失 ”)。 


本 
Ai1 < Ai+1 











Hi MHi+2 


Hit1 
图 9.2-9 标 出 了 转移 率 参数 的 生 - 死 马尔 可 夫 状 态 图 


继续 例 9. 2-4 中 的 过 程 , 我 们 可 以 写 为 
P(t + At) = BP(t) 





@ ”我 们 画 的 图 只 显示 了 转移 率 参数 ， 即 在 状态 之 间 链 接 上 标注 的 1: 和 和;。 这 种 图 显示 的 不 是 很 清晰 , 例如 , 在 泊 松 过 程 
中 处 在 状态 i 的 短 时 概率 是 1 - (Ai +Ai)At, 尽管 这 种 图 不 是 很 清晰 , 但 它 显 的 不 那么 挤 , 图 9. 2-8 是 非 标准 短 时 转移 
概率 图 。 
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其 中 
] 一 和 0At LiAt 0 5 
AoAt 1 一 (CN 二 AD)At /12At 0 人 
B= 0 NAt 1— (M+h2)At HAt 0 


重新 整理 , 除 以 At, 并 且 令 At-»0, 可 得 到 
dP(t)/dt = AP(t) 
其 中 P(t) =[Po(t), P(t),… ,P(t),…]" ,马尔 可 夫 链 的 产生 矩阵 4 为 


一 A0 AI 0 ® 
Ao 一 (和 Al 十 HAI) /1L2 0 


尖 二 | A (M2+h2) 如 0 


在 稳 态 时 P'(t) =0, 这 样 从 AP =0 就 可 以 得 到 
P= piPo 
Pz = poPi = pip2Po 


P; = p;Pi-1= p;*** Pp2p1Po 
其 中 当 j7 二 1 时 p; AA;_1/Wjo 
假定 序列 收敛, 我 们 需要 六 ，, 已 = 1。 用 7; 和 pj…psp! 和 7m =1, 这 意味 着 P， ,7 = 1 
或 局 = 1/ 如 “ris 因此 生 - 死 马 尔 可 夫 链 的 稳 态 概率 为 
B=r/ Dr 7 二 0 
i=0 
如 果 分 母 不 收敛 则 意味 着 没有 稳定 状态 , 因此 稳 态 的 概率 为 0。 这 个 模型 一 般 称 为 MV/M/1 
队列 。 
2. 生 - 死 参数 为 常数 和 有 限 存 储 长 度 上 的 MAM/A 队列 “在 这 里 , 假定 对 所 有 的 宇 有 
A;, = 和 A 和 几 = 人 ， 队 列 的 长 度 不 能 超过 工 。 这 个 随机 模型 可 以 应 用 到 有 限 长 缓冲 区 分 析 , 如 


图 9. 2-10 所 示 。 动 态 方程 为 
dPo(t)/dt = —APo(t) + uPi(t) 


dPi(t)/dt 一 +APo(t) 一 (入 十 Hu)P(t) 十 uP(t) 


dPr(t)/dt =+APr_i1(t) — 41Pr(t) 
我 们 注意 到 , 第 一 个 和 最 后 一 个 方程 中 只 包含 两 项 , 因为 死亡 不 能 出 现在 一 个 空 的 队列 中 , 同 
样 当 队列 已 经 达到 最 大 尺寸 二 时 出 生 也 不 可 能 发 生 。 从 这 些 方程 , 很 容易 获得 稳 态 解 为 : 当 
0<i<L 时 , P; =p'P,, 其 中 pAA/1。 因 为 缓冲 区 必须 处 在 某 种 状态 ,我们 得 到 室 ，,p'P。 
1, 或 P=(1-p)/(1 -p*"*)。 当 缓冲 区 满 时 发 生 饱 和 。 这 一 事件 的 稳 态 概率 P, =p*(1 -p)/ 
(1 -pa) 。 因 此 ， 当 出 生 率 是 死亡 率 的 一 半 、 以 及 缓冲 区 的 大 小 为 10 时 , 发生 饱 和 的 概率 大 
概 为 5x10 一 。 


ll 
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例 9.2-5 (平均 队列 大 小 ) 在 计算 机 
和 通信 网 络 中 ,分 组 交换 是 指数 据 包 从 节 
点 到 节点 的 块 传输 。 在 每 个 节点 ， 数 据 包 | 
的 处 理 主要 是 确定 在 源 -目的 地 的 路 径 中 = 
下 一 个 链 路 。 数 据 包 的 到 达 时 间 、 它 们 必 | 
须 在 缓冲 区 中 等 待 的 时 间 ， 以 及 在 CPU 。 届 达 数据 包 
(中 央 处 理 单元 ) 中 的 服务 时 间 都 是 随机 7] 

假定 先 到 先 服务 ,无 限 容 量 的 缓冲 区 ， 
服务 时 间 服 从 参数 为 风 的 指数 分 布 ， 在 每 
个 时 间 单 元 ,到 达 数 服从 率 参 数 为 人 的 泊 松 分 布 。 我 们 从 这 一 节 的 前 面部 分 知道 泊 松 过 程 的 到 
达 间 隔 时 间 是 独立 同 分 布 的 随机 变量 , 服从 参数 为 A 的 指数 分 布 。 这 种 情况 的 状态 图 与 图 9.2.9 
相同 ,除了 J =Mm =… =W 和 Ao =Ai =… =A。 将 之 前 讨论 的 结果 应 用 在 这 个 例子 上 ,可 求 得 
P; =p'P, 对 所 有 0<i 成 立 , 其 中 pAA/, 已 =(1-p)。 因 此 , 在 稳 态 时 P; =p'(1 -p), 队列 中 数 
据 包 的 平均 数量 [NN] 的 计算 结果 为 





























图 9.2-10 数据 包 到 达 具 有 有 限 长 尺 
寸 二 的 缓冲 区 的 示意 图 





我 们 把 详细 的 计算 过 程 留 给 大 家 作为 练习 。 

例 9.2-6 (有 限 容量 缓冲 区 ) 重 温 例 9.2-5, 区 别 是 现在 到 达 的 数据 包 存 储 在 一 个 大 小 为 
工 的 缓冲 内 。 考 虑 下 面 的 设置 : 存储 在 缓存 中 的 数据 是 由 基于 先 到 先 服务 原则 的 CPU 处 
理 的 。 

假定 在 时 刻 缓冲 区 是 满 的 ,此 时 在 CPU 中 有 一 个 数据 包 在 处 理 , 而 且 有 一 个 数据 包 正 
在 到 达 缓 冲 区 。 如 果 这 个 包 和 前 一 个 包 之 间 的 间隔 时 间 Ti 小 于 7,, 7。 数据 包 在 CPU 中 的 服 
务 时 间 ， 则 到 达 的 数据 包 会 丢失 。 这 一 事件 发 生 的 概率 为 

P[“ 数 据 包 丢失 ”] = P[* 饱 和 状态 ”Nn {Ts > Ti 





=pr(1—p)/(1— p+!) xPIrs 一 Ti>0] 
由 于 事件 的 “饱和 状态 ”和 |17, >7;| 是 独立 的 。 由 于 Ts 和 Ti 是 独立 的 , 则 概率 PLrs -Ti >0] 可 
以 通过 卷 积 很 容易 计算 出 来 。 结 果 是 P[7。 -Tri>0] =A/A(A + 人 ) 。 那 么 ,丢失 即将 到 达 的 数据 
包 的 概率 为 





P[“ 数 据 包 丢失 ”] = pr(1 一 p)/(1 pit1l) x p/(1+p) 
如 果 p =0.5, 则 对 于 尺寸 为 10 的 缓冲 区 , PL“ 数据 包 丢 失 ”] = 1.6 x10“, 其 中 到 达 率 等 于 
服务 率 的 一 半 。 
查 普 曼 - 科 尔 莫 戈 罗 夫 方程 
在 第 8 章 马尔 可 夫 随 机 序列 的 例子 中 , 我 们 定义 的 转移 概率 密度 为 一 步 转移 , 也 就 是 从 
n -1 到 n。 更 一 般 地 , 我 们 可 以 定义 从 时 间 nn 到 n+k 的 转移 概率 密度 作为 一 般 马 尔 可 夫 随 


机 序列 的 定义 , 其 中 大 0。 然 而 , 在 这 个 更 一 般 的 情况 下 , 必须 确保 这 个 多 步 转移 概率 密度 是 
一 致 的 , 也 就 是 存在 一 个 一 步 概率 密度 按 顺 序 产 生 相同 的 结果 。 这 个 问题 在 随机 过 程 的 情况 
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则 更 为 重要 ,因为 连续 时 间 的 情况 这 是 可 以 看 成 多 步 转移 概率 密度 ， 即 在 任何 两 个 九 关 t 的 时 
间 之 间 总 是 存在 一 个 时 间 。 

例如 , 给 定 一 个 连续 时 间 转 移 密度 . 友 (xo1xi; ,tt ), 我们 怎样 根据 下 列 方程 求 出 无 条 件 
pdf f(x; t)? 


十 oo 
fx (rx2; t2) 一 | fx (zx2|Z1;t2, ti )fx Ci ti)dz1 


式 中 对 所 有 >t 和 所 有 2 和 zs 都 成 立 。 
查 普 曼 - 科 尔 黄 戈 罗 夫 方程 为 这 些 一 般 的 转移 密度 的 求解 给 出 了 必要 的 、 充 分 的 条 件 。 查 
普 曼 - 科 尔 莫 戈 罗 夫 方程 还 有 离散 值 情况 下 的 版 本 , 其 中 涉及 了 多 步 转移 的 PMF。 
考虑 三 个 时 间 > > 丘 ， 以 及 马尔 可 夫 过 程 在 这 三 个 时 间 的 的 随机 变量 X(t), 刁 ( 刀 ) 和 
(tt)。 我 们 希望 计算 当 给 定 了 (tt ) 时 X(t ) 的 条 件 密度 。 首 先 , 将 联合 pdf 写成 


十 co 
fx(z3,T1;t3,t1) = | fx (Ta|T2, T1;t3,t2,t1)fx (To, T1;t2,t1)dr2 
如 果 将 方程 两 边 都 除 以 (x; ti )， 可 得 到 
fx (zal71) = | 


Co 


fx (ZX3 |z2， Tl )fx (Za2|zZl ) dr2 


其 中 省 略 了 时 间 志 ,以 使 式 子 看 起 来 简单 。 应 用 马尔 可 夫 特 性 ， 上 式 变 为 
十 co 
a 下 jt (9.2.22) 


这 就 是 查 普 曼 - 科 尔 英 戈 罗 夫 方程 ,用 来 求解 马尔 可 夫 过 程 的 转移 密度 .fy (Ys1%1)。 该 方程 适 
用 于 所 有 如 >t >ti 和 所 有 zs 和 2 的 值 。 能 够 证 明 在 式 (9. 2-22 ) 中 表述 的 查 普 曼 - 科 尔 莫 戈 
罗 夫 条 件 ” ,对 于 转移 密度 的 存在 性 问题 也 是 充分 的 。 


由 随机 序列 产生 随机 过 程 


当 对 马尔 可 夫 随 机 序列 的 模拟 次 数 取 极限 , 我 们 就 可 以 得 到 一 个 马尔 可 夫 随 机 过 程 。 例 
如 , 考虑 由 以 下 方程 产生 的 随机 序列 
XIn] = pX[In m1+Wihn], ~ <7m < 十 oo 
参见 例 8. 4-6, 为 了 确保 系统 稳定 , 设 lp1 <1.0, 则 可 得 到 [nj] 的 相关 函数 为 
Rxx[m] = 0% pl™ 
其 中 ow 是 独立 随机 序列 W[%] 的 方差 。 用 (nT) 代 天 X[n], 并 且 当 满足 nT<t< (n+1)7 
时 设 X(Ct) =X[Ln7T], 得 到 


Rxx(t+7,t) = o%, pl"/7I = ot exp(—al7|) 
其 中 a 和 击 四 过 或 p=exp( -aT)。 这 样 如 果 我 们 对 应 =1, 2, 3，…, 在 TTo/k 时刻 产 生 


了 一 组 模拟 结果 , 则 对 每 组 模拟 结果 ps 4 Vexp( a7), 可 以 得 到 一 组 越 来 越 密集 的 趋 近 于 
随机 过 程 和 (tb) 的 近似 值 , 它 是 WSS, 相关 函数 为 


Rxx(t+T7,t) = Gh exp(—al7|) 
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9.3 具有 随机 信号 输入 的 线性 连续 系统 


本 节 介 绍 随机 过 程 的 变换 。 我 们 关注 有 记忆 的 线性 变换 ， 因为 无 记忆 的 情况 可 以 通过 
第 3 章 随 机 变量 的 变换 方法 来 处 理 。 首 先 回顾 线性 连续 时 间 系 统 的 定义 。 
定义 9.3-1 设 Xi(t) 和 ws(t) 是 两 个 确定 的 时 间 史 数 , a 和 Qs 是 两 个 标量 常数 。 线 性 系 
统 用 方程 描述 为 y=L|X|, 则 当 满 足以 下 条 件 时 ,系统 为 线性 
L{aiz1(t) + a27r2(t)} = a1L{z1(t)} + a2L{z2(t)} (9.3-1) 
对 于 所 有 函数 Vi 和 Xa 以 及 所 有 标量 Qi 和 as 都 成 立 。 


这 等 于 说 , 一 个 输入 的 加 权 和 的 响应 必须 等 于 每 一 个 单独 的 输入 的 响应 的 加 权 和 。 同 时 ， 
我 们 注意 到 在 这 个 定义 中 输入 必须 在 系统 ( 算 子 ) 世 允许 的 输入 空间 中 。 当 我 们 考虑 将 工 推 广 
到 随机 过 程 输入 时 , 最 自然 的 选择 是 输入 了 的 样本 函数 , 然后 求 相 应 的 输出 样本 函数 , 从 而 定 
义 一 个 新 的 随机 过 程 了。 正如 原 随 机 过 程 立 是 从 样本 空间 到 函数 空间 的 映 冉 ,线性 系统 再 将 
这 个 函数 空间 映射 到 一 个 新 的 函数 空间 , 两 个 映射 的 级 联 定义 了 输出 随机 过 程 。 图 9. 3-1 描绘 
了 这 个 过 程 。 这 一 节 我 们 的 目标 是 求 经 过 线性 系统 后 输出 随机 过 程 的 一 阶 矩 和 二 阶 矩 ， 即 经 
过 线性 系统 变换 后 的 均值 和 相关 函数 ( 协 方差 ) 的 值 。 


输入 样本 函数 
xX1(t)=X(&1,1) 
] 0 
\ 
\ 
\ 


y1(t)= Y(é,t) 


样本 空间 Q ss 输出 样本 函数 


图 9.3-1 一 个 随机 过 程 经 过 线性 系统 的 图 解 
定理 9.3-1 设 随机 过 程 卫 (4) 经 过 线性 系统 工 后 产生 输出 过 程 Y(t)。 输 出 的 均值 为 
ElY(t)] = L{EIX(t))} 
= L{hx(t)} 
证 明 通过 定义 可 得 到 : 对 每 个 样本 函数 
Y(t,6) = L{X(t, 2)} 


(9.3-2) 


于 是 
E[Y(t)] = E[L{X(t)}] 
如 果 可 以 交换 两 个 算 子 , 则 可 以 得 到 输出 的 均值 函数 是 输入 的 均值 函数 经 过 线性 变换 工 的 结 
果 。 理 由 如 下 ， 如果 假 定 线 性 算 子 工 可 以 用 司 加 积分 表示 
十 ce 
Vs== | h(t,T)X(T)dT 


一 G9 
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-mw 


at 


= 了 {Ax(b)} 

在 第 10 章 学 习 了 均 方 随机 积分 后 再 对 这 个 定理 进行 详细 证 明 。 现 在 假设 它 是 有 效 的 ， 然 
后 看 看 线性 系统 输出 相关 函数 的 分 析 。 现 在 有 两 个 随机 过 程 需要 考虑 , 输入 和 输出 , 为 此 引入 
互相 关 函 数 为 B[ X(t )Y* (ts)]。 我 们 定义 互相 关 函 数 

Rxy (ti,t2) S ELX(t1)Y™(t2)] 

首先 由 输入 的 自 相关 函数 Ryx (ti, 所) 计算 互相 关 函 数 尽 e (二 , 吉 )， 然 后 计算 输出 的 自 相 
关 函 数 Ryy( t,t)。 如 果 输 入 过 程 的 均值 为 零 , 则 由 定理 9. 3-1 得 到 输出 过 程 的 均值 也 为 零 。 
因此 ,以 下 的 结论 对 方差 函数 同样 成 立 , 只 需 将 输入 变 为 中 心 过 程 革 (1) AX(t) -x(t), 就 
会 产生 中 心 输出 了.(t) AY(t) -py(t)。 

定理 9.3-2 设 了 X(t) 和 了 Y(t) 为 线性 算 子 工 的 输入 和 输出 随机 过 程 ， 则 


取 数 学 期 望 ， 可 得 到 


Rxy(ti,t2) = Ls{Rxx(t1,t2)} (9.3-3) 
Ryy(ti,t2) = Li{Rxy (ti,t2)} (9.3-4) 
其 中 工 ; 是 算 子 工 对 时 间 变 量 t 做 变换 。 
证 明 
X(t)Y (to) = X(t1)L2{X" (t2)} 
= L3{X(t1)X" (t2)} 
其 中 用 了 共 力 算 子 卫 ” ,其 对 应 的 冲 激 响 应 为 hh” T) ,也 就 是 h(t, 7) 的 复 共 力 ， 则 
E[X(ti)Y (ta) = E[L3{X(t1)X"(t2)}] 


= L2{ELX )X*(t2)]} 通过 交换 L2 和 蔬 
= L3{Rxx(ti,t2)} 
这 就 是 方程 (9.3-3)。 同 样 ,为 了 证 明 方程 (9.3-4), 乘 以 了 "(ts), 可 得 到 
Y(t)Y (ts) = Li{X(t1)Y (to)} 
于 是 
El[Y (ti)Y"*(t2)] = E [Li{X(t1)Y(t2)) 
三 L1{E[X(t1)Y*(t2)]} 通过 交换 二 和 也 
= Li{Rxy (ti,t2)} 
这 就 是 方程 (9.3-4) 。 由 方程 (9.3-3) 和 方程 (9.3-4) ， 可 得 到 


Ryy(ti,t2) = LiL3{Rxx (t,t2)} (9.3-5) 
人 3-1 i se 可 看 成 某 传感器 信号 ， 定 
义 Y(t) SL{X()} SX(t) — X(t—1), 则 


E[lY(t)] = L{jyx(t)} = kx(t) — Hx(t— 1) 
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Rxy(ti,t2) = Lo{ Rxx(ti,t2)} = Rxx(ti,t2) — Rxx(ti,t2 — 1) 


Ryy(ti,t2) = Li{Rxy (ti,t2)} = Rxy(ti,t2) — Rxy (ti — 1,t2) 
= Rxx(ti,t2) — Rxx(ti—1,t2)— Rxx(ti,t2 — 1) 
十 Rxx(tl 一 二 ,to 一 1) 
如 果 jx(t) =0, 并 且 
Rxx(ti,t2) 全 CS exp(—alti — t2|) 
由 于 px =0, 则 [Y(t)] =0, 且 
Ryy(ti,t2) =oX (2exp(—alti —t2|) — exp(—alti —t2 — 1|)— exp(—alti —t2 +1|)) 
我 们 注意 到 Rxx 和 Rxy 都 是 两 个 观测 时 2 
刻 妇 和 差 的 函数 。 输 入 自 相 关 函 数 Rxx 1.8 
如 图 9.3-2 所 示 , 其 中 w = 2, ox =2。 注 意 1.6 
到 图 9. 3-3 中 输出 自 相 关 函 数 的 负 值 部 分 ， 





是 由 边缘 检测 器 的 差分 运算 导致 的 。Y(t) 三" 
的 方差 为 常数 ,其 表达 式 为 ee 


0%-(t) = 0 = 20%[1 — exp(—a)] 08 
我 们 看 到 随 着 a 趋 近 于 0, 也 的 方差 也 趋 近 04 
于 0。 这 是 因为 随 着 a 趋 近 于 0, X(t) 和 ne 


0 -一 人 


X(t -1) 正 相关 性 越 来 越 强 ， 因此 它们 的 差 0 人 2 和 大 6 
的 功率 很 小 。 | 
图 9.3-2 例 9.3-l 的 输入 自 相 关 郴 
例 9.3-2 (导数 过 程 ) 设 X(t) 为 一 个 数 Rww ,其 中 7 = 一 名 
数 为 


Kxx(t,s) = 0 coswo(t — s) 


我 们 希望 得 到 导数 过 程 卫 '(t) 的 均值 和 方差 。 这 里 的 线性 算 子 是 d(" )/dt。 首 先 计 算 均 值 
px 的 = EIX'(D)] = EEX = px() = $4=0 
现在 , 对 这 个 实 随 机 过 程 ， 由 于 jx =0, XX'(t) 的 协 方 差 函 数 为 
Kx'x'(ti,t2) = ELX’'(t1)X'(t2)] 
通过 式 (9.3-5) 和 兰 (t) =Y(t), 得 到 
Kx'x’(ti,t2) = 六 ( 充 Kxx(t 世 ) 三 六 ( 训 w coswo(ti1 一 品 】 
= 了 oo sinwolti — #2)) = (wo00)? coswolt1 — t2) 
我 们 注意 到 ， 得 到 的 结果 刚好 是 原来 的 协 方差 函数 乘 了 一 个 因子 wy。 这 种 形式 上 的 相似 性 是 


第 9 章 随机 过 程 419 


由 于 Kxx(t, s) 是 具有 随机 振幅 和 相位 的 正弦 波 (参见 例 9. 1-5) 信 号 的 协 方差 函数 。 由 于 相位 
是 随机 的 ,正弦 及 其 导数 余弦 在 形状 上 是 难以 区 分 的 。 








一 站 本 
二 5， = = = = 0 1 2 3 4 5 


图 9.3-3 例 9.3-1 的 输出 自 相关 函数 Ryy 与 += 刀 一刀 的 图 形 


白 噪声 

考虑 9.2 节 提 到 的 维 纳 过 程 。 在 这 里 , 我 们 考虑 这 一 过 程 的 导数 。 对 任意 a >0, 维 纳 过 
程 的 协 方差 函数 为 Kxx (如) =amin( 二 ,所 ) ,均值 wx =0。 设 W(t) =dX(t)/dt。 继 续 分 析 
上 面 的 例子 , 可 以 计算 得 到 jw(t) =BLdX(t)/dt] =dyux(t)/dt =0。 协 方差 为 


0 6 
Kww lti,t2) = ( 才 Kxx(tty)) 





1 

0 0 
一 Hi (2 min(ti,ts) ) 
_0 /9 fats, ts<t 
Ot \Ots lati, to =H 
_9 [a ta < 
Bt \0, to>Ht 
_ 0 /0 fi<t 
Otila ti>t 

0 
一 Bt — t») 
一 abo( — t2) 


因此 , 白 噪声 的 协 方差 函数 为 冲 激 函 数 。 由 于 白 噪声 的 均值 始终 为 0, 则 自 相关 函数 也 为 冲 激 
Rwwl(ti,t2) = 0°6(t1 —t2) = Kww (ti,t2) (9.3-6) 
其 中 心 : 代替 了 a, 但 我 们 也 要 注意 到 这 个 过 程 的 功率 B[1W(t) 1*] =o ”6(0) =%，, 而 不 是 o。 
事实 上 , o” 是 白 噪 声 过 程 的 功率 谱 密 度 。 
注意 到 这 里 的 样本 函数 是 不 连续 的 , 而 白 噪声 过 程 是 不 可 分 的 2D。 





”可 分 离 的 概念 (参见 9.1 节 ) 是 指 由 t 轴 上 的 可 数 点 集 来 决定 信号 的 特性 (如 时 间 轴 )。 也 就 是 一 旦 知道 了 一 个 随机 过 程 
的 可 数 点 集 的 概率 密度 , 则 这 个 过 程 的 完整 概率 密度 就 知道 了 ( 参见 参考 文献 [9-6] ) 。 
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9.4 一 些 关 于 随机 过 程 的 有 用 分 类 


这 里 我 们 看 几 类 随机 过 程 和 过 程 对 , 这 些 分 类 方法 同样 适用 于 之 前 研究 过 的 随机 序列 。 

定义 9.4-1 设 卫 和 了 为 随机 过 程 ， 它们 是 : 

(a) 不 相关 的 ， 如 果 Rxy(， t,) =Jxr(t mr (tb ), 对 所 有 tl 和 t,o 

(b) 正 交 的 , 如 果 Rxy(i, ts) =0,， 对 所 有 友和 妨 。 

(c) 独立 的 ,如果 对 所 有 正 整 数 丸 , 了 和 了 的 Nr 阶 分 布 济 数 可 分 解 为 

Fxy(z1, Yi, T2793; ,Th Yin; ty: ,bn) 
= Fx(zT1 ,Tnytiy ,tn) FY (yi, Yn; tl ,tn) 
对 所 有 2i， Yi 以 及 所 有 本 都 成 立 。 

我 们 注意 到 如 果 两 个 随机 过 程 是 不 相关 的 且 至 少 有 一 个 随机 过 程 的 均值 为 0, 则 它们 是 正 
交 的 。 事实 上 , 正 交 的 定义 只 有 在 随机 过 程 均值 为 0 时 才 有 用 , 在 这 种 情况 下 正 交 与 不 相关 等 
价 。 正 交 的 概念 是 第 5 章 为 随机 向 量 引入 的 。 这 个 概念 在 第 11 章 中 用 来 估计 随机 过 程 和 序列 
时 是 非常 有 用 的 。 

随机 过 程 可 以 是 不 相关 、 正 交 或 独立 的 。 例 如 可 以 是 wx (th, 刀 ) =0, 对 所 有 友 夭 如 ,在 
这 种 情况 下 我 们 称 (t) 为 正 交 随机 过 程 。 同 样 X(t) 与 1(),…, 习 (t)| 是 相互 独立 的 ， 
对 所 有 上 ge | 三 ，…， 刀 上 和 所 有 到 ，…, 太 成 立 , 其 中 nn 二 1, 则 我 们 称 关 (为 独立 的 随机 过 程 。 
显然 , 由 于 时 间 上 任意 小 的 变化 都 引起 完全 的 独立 , 所 以 这 样 的 随机 过 程 的 样本 函数 变化 会 非 
常 剧 烈 。 

当 一 个 随机 过 程 的 统计 特性 不 随时 间 改 变 , 我 们 称 其 为 平稳 随机 过 程 。 正 式 的 定义 是 : 

定义 9.4-2 ”如 果 一 个 随机 过 程 卫 (14) 的 nl 阶 分 布 函 数 与 (t+ 了 T 了 ) 相同 ， 则 称 其 为 平稳 随 
机 过 程 。 也 就 是 两 个 Nn 维 函 数 

Fx (Ts Tn tly tn) = Fx (Ti, Zn;ti+ Ttn + T) 
对 于 所 有 了 以 及 所 有 正 整 数 NL 和 所 有 ，…, 都 相同 。 
如 果 分 布 函 数 是 可 微 的 , 则 上 式 可 以 用 概率 密度 等 价 为 
fx (my Mn sb) = fx (WB: "Tn tl 十 村， ,tn + 全) 
这 是 运用 更 广泛 地 判断 随机 过 程 是 否 平稳 的 条 件 。 此 定义 隐 含 了 平稳 随机 过 程 的 均值 为 常数 。 
为 了 证 明 这 个 结论 , 我 们 注意 到 对 所 有 了, 有 f(x; t) =f(x; t+7T) 成 立 , 如 果 设 了 = -t+, 则 
f(xw; t) =f(x; 0), 则 可 以 得 到 [X(t)] =jwx(t) =jx(0) 为 常数 。 
由 于 二 阶 概率 密度 位 移 不 变性 ， 即 
f(z1 za ti ta) = f (L122;tii+ Ttst 7T) 
同样 令 了 = 一 加， 则 
f (m1, Los ti, to) 三 f(z1, xT2;t1 — t2,0) 
这 意味 着 [X(t )*( 刀 ) ] =Rxx (ti 一石 , 0)。 因 此 , 在 平稳 条 件 下 ,相关 函数 只 与 两 个 采样 
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时 间 之 间 的 时 间 差 7At -所 有 关 。 因 此, 我 们 定义 一 个 参数 的 相关 函数 : 
Rxx(7) SS Rxx(7,0) 
= E[X(t+7)X*(t)] 

其 在 函数 关系 上 与 参数 t 无 关 。 这 种 相关 函数 的 例子 已 在 9.3 节 中 见 过 。 

如 果 不 直 接 关 注 n 阶 分 布 函数 ,而 仅仅 考虑 一 阶 和 二 阶 矩 ， 则 我 们 得 到 了 广义 平稳 的 
定义 。 

定义 9.4-3 一 个 随机 过 程 卫 如 果 满 足 EB[X(t)] =Ax 以 及 EL X(t+7)X*(t)] =Rxx(7) 
与 时 间 参 数 t 无 关 , 其 中 -ww <7 < +%，, 则 称 其 为 广义 平稳 随机 过 程 (WSS)。 

例 9.4-1 (广义 平稳 的 复 指数 过 程 ) 设 (1) AAexp(j2mft), 其 中 为 一 已 知 的 实 常数 ， 
有 A 为 均值 为 0 的 平均 功率 刀 [A?] 有 限 的 实 随机 变量 。 计 算 X(1) 的 均值 和 相关 浊 数 ， 可 得 到 

EIX(t)] = E[Aexp(j27ft)| = ElA|exp(j27ft)=0 


(9.4-1) 


和 
E[X(t+7)X*(t)] = E[Aexp(j27f(t+7))Aexp(—j27ft)] = E[A?]exp(j27f7) = Rxx(7) 
注意 到 这 里 [A] =0 是 WSS 的 必要 条 件 。 问 题 : 如 果 不 是 复 指 数 函 数 而 是 一 个 余弦 函数 , 均 

值 和 相关 函数 又 是 怎样 的 ? 
例 9.4-1 中 的 过 程 , 虽然 是 广义 平稳 的 , 但 实际 上 却 不 平稳 。 例 如 和 (0 ) 为 纯 实 数 ， 而 且 
(1/(4f) ) 总 是 纯 虚 数 。 我 们 因此 得 到 结论 : 广义 平稳 的 特性 要 弱 于 平稳 的 特性 。 
我 们 把 这 个 例子 推广 到 MM 个 复 正 弦 信 号 , 可 以 得 到 零 均 值 广义 平稳 过 程 基本 的 频 域 表 示 。 
M 
X(t) = 》 A exp(j2nfit) 
k=1 
其 中 复 随 机 变量 4, 是 不 相关 的 , 均值 为 0, 方差 为 oi。 则 六 (1) 为 WSS, 均值 为 0, 自 相 关 或 
自 协 方差 函数 等 于 
M 
Rxx(7T) = 》 oR exp(j2nfx7) (9.4-2) 
k=1 
对 这 个 随机 过 程 卫 (1), 随机 系数 14i| 构成 了 其 频 域 表示 。 由 确定 函数 的 傅 里 叶 分析 可 以 推断 
出 随 着 MM 增 大 以 及 ._f 变 密 , 也 就 是 , f 之 间 的 空间 变 小 , 它 履 盖 了 我 们 感 兴趣 的 频率 范围 ， 
大 多 数 随机 过 程 会 有 这 样 一 个 近似 的 表示 。 这 种 情况 参见 10.6 市 。 


9.5 ”广义 平稳 随机 过 程 和 LSI 系统 


在 这 一 节 我 们 分 析 联 合 平稳 且 是 二 阶 的 随机 过 程 ， 即 
EIX()|] < oo 
平稳 二 阶 过 程 的 自 相 关 和 互相 关 函 数 的 某 些 重要 特性 总 结 如 下 。 当 然 , 它们 对 各 自 的 相关 范 
数 同样 成 立 。 
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(1) 1Rxx(7T)1<Rxx(0), 对 于 实数 的 情况 , 可 直接 由 BL 1X(t+7) -(ti)1]=0 得 到 。 

(2) 1Rxx(7) 1 VRex(0)Ryy(0), 这 可 由 施 瓦 茨 不 等 式 得 到 (参见 4.3 节 )。 它 也 可 以 证 
明 (1) 中 的 复数 情况 。 

(3)Rax(7T) =Rxx( -7), 这 是 由 于 对 WSS, 有 ELX(t+7)X*(t)] =E[X(t)X*(t-7)]= 
ELX(t -7)X"(1)], 这 个 特性 被 称 为 共 恩 对 称 性 。 对 于 实 过 程 , 则 上 述 特 性 变 成 了 
偶 对 称 , 即 Rac(7) =Rxx( -7)。 对 于 复 值 平稳 随机 过 程 , 其 自 相 关 函 数 的 另 一 个 重 
要 特性 是 它 必 须 是 半 正 定 的 ( 即 下 一 条 特性 ) 。 

(4) 对 于 所 有 N>0 和 三 < 亡 <…< 加 以 及 所 有 的 复数 wo ，a ，…，aw， 满足 


Dial (tk 一 如 ) 这 


二 
这 是 在 9. 1 节 中 证 明 过 的 给 定 一 个 函数 g(t, s) =g(t-s) 是 相关 函数 的 必要 条 件 。 
我 们 还 将 证 明 它 同样 是 一 个 充分 条 件 , 因此 半 正 定 实际 上 是 自 相 关 函 数 的 特征 。 但 是 
通常 直接 证 明 特性 (4) 会 非常 困难 。 
从 定理 9.3-1 和 定理 9.3-2 出 发 , 可 以 推导 LSI 系统 的 一 般 情 况 。 重 写 式 (9.3-2) ,可 得 到 
ElY(t)] = L{ux(t)} 
= | Ohl nar 


= Hx(t)* h(t) 
运用 定理 9.3-2 和 式 (9.3-3)、 式 (9.3-4), 有 


十 co 
Rxy (ti,t2) = | h*(T2)Rxx(ti,t2 — 7T2)d7T2 
th 


十 oo 
Ryy(ti,t2) = | h(i)Rxy (ti — 7T1,t2)dT1 
可 以 用 卷 积 算 子 表示 为 
Rxy(ti,t2) = h(t2)* Rxx(ti,t2) 
其 中 卷 积 算 子 沿 t 轴 , 而 
Ryy (ti1, t2) 竺 h(ti1) * Rxy (ti, t2) 
其 中 卷 积 是 沿 t 轴 将 这 两 个 方程 组 合 起 来 , 我 们 得 到 Ryy(ti, ty) =h(t) * Rx(ti, tb)*h" (t,)。 


广义 平稳 情况 
如 果 将 平稳 随机 过 程 了 (输入 到 一 个 冲 激 响 应 为 h(t) 的 LSI 系统, 则 输出 随机 过 程 可 以 
用 卷 积 积分 表示 为 
Y(t) = | h(T)X(t — 7)d7 (9.5-1) 


Co 


当然 要 满足 积分 存在 的 条 件 。 计 算 输 出 过 程 Y(t) 的 均值 , 可 得 到 
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E[lY(t)] = | h(7T)E[X(t 一 7)]dr ”由 定理 9.3-1 


十 ce ae 
一 | h(T)uxdT = Ix | h(T)dr (9.5-2) 


= HxH(O) 
其 中 五 (w) 是 系统 的 频率 响应 。 
因此 , 我 们 看 到 输出 的 均值 为 常数 并 且 等 于 输入 的 均值 乘 以 系统 函数 在 w =0 处 的 取 值 ， 
五 (0) 称 为 系统 的 直流 增益 。 如 果 计 算 输 入 和 输出 随机 过 程 的 互相 关 函 数 , 可 得 到 
Ryx(7) = E[Y (t+ 7)X"*(t)] 
二 [Y(t)X*(t 一 7)] 用 上 一 7 代替 t 


= | h(a)E[X(t— a)X*(t—7)]da 
运用 定理 9. 3-2, 将 均值 算 子 互 放 到 积分 式 中 , 则 
十 ee 
一 | h(a)Rxx(T — Qa)da 


其 可 以 被 重 写 为 
Ryx(7T) = h(7)* Rxx(7) (9.5-3) 
因此 , 互相 关 函 数 Ryy 等 于 与 自 相 关 也 数 Rxx 的 卷 积 。 这 个 性 质 可 以 用 来 辨识 未 知 系统 ( 参 
见习 题 9.28 ) 。 
输出 自 相 关 函 数 丽 rw(r) 可 由 互相 关 函 数 尽 re(7) 得 到 
Ryy(7) = E[Y (t+ 7)Y™*(t)] 
二 [Y(t)Y*(t 一 7)] 用 t 代替 t+ 一 7 


| h*(a)ElY(t)X*(t—7— Qa)da 


h*(a)EIY (HX*(t— (rT +a))lda 


| 

当 上 h*(a)Ryx(T+a)da 
| h*(—a)Ryx(T — AQ)da 
h 


=h*(-—7)* Ryx(7) 
组 合 两 个 方程 , 得 到 
Ryy(7) = h(7)*h’(—7)* Rxx(7) (9.5-4) 
我 们 观察 到 当 Rxx(7) =6(7) 时 , 输出 的 相关 函数 为 Ryy(7) =h(7T) *h" (一 7), 其 有 时 被 
称 为 自 相关 冲 激 响应 (AIR) ,表示 为 g(7) =h(7) *h*( -7)。 注 意 9g(7) 必须 是 半 正 定 的 , 并 
有 是 FTIg(7)| =IH(w)|’=0, 
同样 , 我 们 也 求 得 (证 明 留 给 读者 作为 练习 ) 
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十 co 
Rxy(7) = | h*(—a)Rxx(T — Qa)da 





(9.5-5a) 
=h*(—7)* Rxx(T) 
和 
十 oc 
Ryy(7) = | h(a)Rxy(T 一 a)da 
= h(7)* Rxy(7) 
=h(7)*h"(—7)* Rxx(7) 
= g(7) * Rxx(7) 
这 个 简练 的 式 子 是 下 列 式 子 的 简写 : 
Ryy(7) = | g(7T')Rxx(T 一 7 )dr” ( 卷 积 ) (9.5-5b) 
4 中 = | (ejh(a +7)da (相关 积 ) (0 se) 


例 9.5-1 (WSS 过 程 的 导数 ) 设 二 阶 随机 过 程 卫 (tt) 是 平稳 的 ， 相关 函数 为 RR,(7)，, 均值 
Lx(t) =MNx 为 常数 。 系 统 为 一 导数 运算 ， 即 
dX(t 
YO = 
运用 上 面 的 方程 ,我 们 得 到 jwy(t) =dux(t)/dt =0，, 互相 关 遂 数 为 
Rxy(7T) = vi(—7) * Rxx(7) 
_ _dRxx(7) 
dT 
由 于 求 导 运算 的 冲 激 响 应 为 h(t) =d5(t)/dt =wWi(t), 冲 激 通 数 的 导数 6(t) 有 时 称 为 单位 冲 
激 偶 也 。 
Ryy(7T) = Wi(7T)* Rxy (7) 
_ dRxy(7) 
dT 
_d?2Rxx(7) 
d7? 
注意 到 这 里 AIP 函数 是 g(7) = -Ww(7), 是 6(7) 的 二 阶 导 数 的 负 值 。 
功率 谱 密 度 
对 于 广义 平稳 过 程 , 我 们 定义 其 平均 功率 在 频率 上 的 密度 , 称 为 功率 谱 密 度 (psd)。 


定义 9.5-1 设 Rrx(7) 为 自 相 关 兄 数 。 我 们 定义 功率 谱 密 度 为 其 傅 里 叶 变 换 ( 如 果 它 存 
在 ) ， 即 


十 co 
Su 二 间 | Beir je dy (9.5.6) 





Q@ 在 这 个 函数 标记 中 , w_1(t) =w( 纪 为 单位 阶 路 函数 , uo(t) = 8(b) 为 单位 冲 激 函数 ” 。 
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在 相当 一 般 的 条 件 下 , 它 的 逆 变 换 等 于 Rxx(7) (所 有 连续 点 ) 


1 十 co _ 
Rxx(7T) = | Sxx(w)e'®" dw (9.5-7) 
我 们 标记 
Sxx = FT{Rxx} 
和 


Rxx = IFT{Sxx} 
其 中 FT 和 IFT 分 别 代 表 傅 里 叶 变 换 和 傅 里 叶 逆 变换 。 
功率 谱 这 个 词 稍 后 再 做 解释 。 我 们 目前 将 这 定义 为 Rxx(7) 的 傅 里 叶 变 换 。 也 可 以 定义 
互相 关 函 数 Rxy(7) 的 傅 里 叶 变 换 从 而 得 到 一 个 频率 的 函数 , 我 们 称 其 为 互 功率 谱 密 度 
十 oo 
Sxy(w) 全 | Rxy(T)e jo" dr (9.5-8) 
以 后 会 看 到 功率 谱 Sex(w) 是 实 的 且 处 处 为 非 负 数 , 而 且 正 如 其 名 称 所 指 , 是 随机 信号 的 平均 
功率 在 频率 上 分 布 的 密度 函数 。 而 互 谱 密度 则 没有 这 样 的 含义 ,而 且 通 常 为 复数 。 
下 面 列举 了 一 些 功率 谱 密度 Sxx(w) 的 特性 : 
1. 由 于 玉 Rex(7) 共 斩 对 称 , 所 以 Sex(o) 是 实数 。 
2. 如 果 X(t) 是 实 WSS 过 程 , 则 由 于 Rxx(7) 是 实 的 偶 函 数 , 所 以 Sex(o) 也 是 偶 函 数 。 否 
则 Sixx(w) 可 能 不 是 w 的 偶 函 数 。 
3. Sx(w) =0( 在 定理 9.5-1 中 说 明 ) 。 
有 关 功 率 谱 密度 的 其 他 性 质 在 表 9. 5-1 中 说 明 。 大 家 可 以 继续 扩展 这 张 表 , 但 到 此 我 
们 的 目的 已 经 达到 了 。 注 意 这 个 运算 在 频 域 上 的 简单 性 。 这 提示 我 们 对 LSI 系统 和 平稳 或 
WSS 过 程 , 可 以 首先 将 输入 自 相 关 函 数 转换 到 频 域 上 ,进行 指示 运算 (indicated opera- 
tion) , 然后 再 将 其 逆 变 换 到 相关 域 来 得 到 输出 的 相关 函数 。 这 与 确定 线性 系统 理论 中 的 平 
移 - 不 变 系统 的 情况 完全 类 似 。 
表 9.5-1 相关 函数 的 特性 及 其 对 应 的 功率 谱 密度 





随机 过 程 相关 函数 功率 谱 密 度 
X(t) Rxx(7) Sxx(w) 
axX(t) |a|? 有 xx(r) lal2Sxx(ow) 
Xi1(t) + X2(t) 
(Xi 和 和 正 交 ) Rxixi(T)+ Rxoxs(T) Sxixi(w)+ Sx2x2(%) 
X(t) —d*Rxx(T)/dr” wiSxx(w) 
天 全 (一 1)"d2"Rxx(r)/dr2 omSxx(w) 
X(t) exp(jwot) exp(jwoT)Rxx(T) Sxx(w — wo) 
X(t) cos(wot 十 9) 
其 中 @ 与 X(t) 独 立 , 且 3Rxx(7) cos(wo7) [Sxx(w + wo) + Sxx(w — wo)] 
在 [一 ,十 可 上 均匀 分 布 
X(t)+b (EI[X(t)] =0) Rxx(7)+ | Sxx(w) 十 27|b|*5(w) 


另 一 种 情况 是 如 果 将 Sex(w) 描述 为 平均 功率 密度 的 解释 是 正确 的 话 , 则 常数 或 均值 分 
量 的 所 有 平均 功率 都 集中 在 w =0 处 , 正如 表 中 最 后 一 行 所 示 。 而 正如 表 倒 数 第 2 行 所 示 ， 
频率 wo 的 调制 意味 着 平均 功率 的 分 布 在 频 域 上 平移 了 wo, 这 两 个 结论 应 该 是 非常 直观 的 。 
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例 9.5-2 (和 白 噪 声 的 功率 谱 密 度 ) 参 数 为 or 的 白 噪声 W(t) 的 相关 轴 数 为 Ryw(T) = 
u25(r)， 它 的 传 里 叶 变换 ， 即 功率 谱 密度 为 
Sww(w) =a2， 一 co <w< 十 oo 
功率 谱 密度 是 平坦 的 ,因此 “ 白 噪声 ”名 称 的 由 来 源 于 白光 ， 因为 白光 在 所 有 的 波长 上 的 
功率 相等 。 与 白光 类 似 , 白 噪声 是 理想 化 的 ,由 于 之 前 我 们 已 经 得 到 Pww(0) = wm， 意味 着 功 
率 无 穷 大 ,所 以 其 在 物理 世界 里 并 不 真实 存在 。 此 外 ,应 该 注意 在 白 品 声 情况 下 , 参数 0 应 
被 理解 为 功率 密度 。 


功率 谱 密 度 的 解释 
给 定 一 个 平稳 随机 过 程 立 (t) , 考虑 有 限 支 撑 段 
Xr(t) 全 X(t)1_7T,+7](t) 
其 中 五 ,nn 是 一 个 指示 函数 , 如 果 -7T<t< +T(7T>0), 则 其 值 为 1, 否则 为 0。 计算 Xi 的 
傅 里 叶 变 换 得 到 
4 
FT{X7(t)} = | X(t)e ot dt 
=T 
这 个 随机 变量 的 幅度 平方 值 为 
| + 
Fr{xr(OP =| 
a 


+T 
| X(t1)X* (to)e iota) qt] dt 
一 了 一 人 
除 以 27, 取 均值 后 得 到 


十 也 


1 ， 1 十 人 _ 
5 三 [IFT {XT(t)}H?] = 37 | | Rxx(t1—t2o)e oe)dtidte (9.5-9a) 


-TT 
为 了 计算 等 式 右 边 的 二 重 积 分 , 引入 新 的 坐标 系统 s = 二 + 如 ,7 = 五 - 刀 ，(Ss， 7T) 和 ( 右 ， 刀 ) 坐 
标的 关系 显示 在 图 9. 5-1(a) 中 。 这 个 变换 的 雅 可 比值 是 1/2, 积分 区 域 是 一 个 砍 形 名， 如 
图 9.5-1(b) 所 示 , 它 是 将 图 9. 5-1 (a) 顺 时 针 旋 转 45" 得 到 的 ， 其 边 长 为 了 v2， 于 是 
式 (9.5-9a) 中 的 双重 积分 就 变 为 


1 | 
三 || Rxx(r)e drds 


1 0 2T+7 
= 用 于 天 (Je 人 | ds| dr 
47 | —(2T+7) 


1 各 2T—7 +2T | | 
+ 本 | Rxx(T)e 1 | dT -| 四 | -如 | Rxx(T)e TdT 


如 果 一 + % , 则 这 个 积分 趋向 于 式 (9.5-6) , 即 
Sxx(w) = lim BE [IFT {Xr()} I] (9.5-9b) 


所 以 , Sxx(w) 为 实 的 非 负 函 数 , 并 且 与 频率 w 处 的 平均 功率 有 关 。 
接 下 来 我 们 看 两 个 用 相关 函数 来 计算 功率 谱 密度 的 例子 。 
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图 9.5-1 (a) 在 (ti, 右 ) 平 面 内 的 方形 区 域 ; (b) 经 过 s =ti + ,T= 一 tb 变 换 后 菱形 范围 内 的 积分 
例 9.5-3 求 下 面 以 指数 形式 表示 的 相关 函数 的 功率 谱 密 度 , 其 中 参数 a >0 


Rxx(7) =exp(-alr), 一 oo <T < +oo 
这 是 9.2 节 讨 论 过 的 随机 电报 信号 (RTS) 的 自 相 关 函 数 ， 它 的 功率 谱 密 度 为 


9xx(w) = Wm Wy 


Rxx(T)e i*Tdr = | e-elrle-jor dr 


一 Oo 一 De 


= 上 coiorar+ | ec+jo)7 d7 
一 oo 0 
一 2a/[lae2 +w], -co <w< 十 co 
图 9.5-2 画 出 了 当 a = 3 时 的 函数 图 。 我 们 看 到 峰值 出 现在 原点 ， 等 于 2/a。 这 个 过 程 的 
3 dB 带宽 为 a( 如 果 Six 确定 是 功率 密度 的 话 , 将 会 证 明 这 一 点 ) 。 我 们 注意 到 相关 函数 忌 xx 在 
原点 有 一 个 尖 头 ， 而 功率 谱 密度 Sxx 无 尖 头 。 事 实 上 , Sxx 是 连续 的 并 且 处 处 可 微 的 ( 如果 RRxx 
是 绝对 可 积 的 , 则 Sxx 总 是 连续 的 ) 。 


0.7 


0 
-10 -8 -6 -4 -2 0 2 4 6 8 10 
频率 (只 


图 9.5-2 指数 型 相关 函数 的 功率 谱 密度 
图 9.5-2 是 由 以 下 的 MATLAB 程序 画 出 来 的 图 。 


clear alpha=3; 
b= [1.0 0.0 alpha°2]; 
w = linspace(-10,+10); 
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den = polyval(b,w) ; 
num = 2*alpha; 

S = num./den; 

plot (w,S) 


我 们 注意 到 功率 谱 窗 度 衰 减 得 非常 慢 ,， 因此 随机 电报 信号 需要 一 个 相对 比较 大 的 通 带 。 
功率 谱 密 度 尾部 较 长 的 原因 是 RTS 的 样本 函数 的 跳 变 。 

例 9.5-4 (三 角形 自 相 关 函 数 的 功率 谱 密 度 ) 考虑 自 相 关 函 数 为 三 角形 形式 ， 则 相关 函 
数 在 偏 移 T 了 后 为 0, 其 中 T>0 


Rxx(T) = max [ = pe 
在 9.2 节 介 绍 的 异步 二 进 制 信号 (ABS ) 就 出 现 了 这 样 
的 相关 函数 。 图 9.5-3 画 出 了 这 个 函数 。 如 果 我 们 认识 
到 这 个 三 角 函 数 可 以 看 成 宽度 为 T， 高度 为 /VT 的 两 
个 抵 形 脉冲 的 卷 积 ， 则 可 以 运用 傅 里 叶 变 挽 的 卷 积 定 
理 !? 来 得 到 这 个 三 角形 自 相 关 函 数 的 功率 谱 密 度 ， 
它 刚 好 等 于 矩形 脉冲 的 傅 里 时 变换 ( 即 Sinc 函数 ) 的 
平方 , 算 形 脉冲 的 变换 为 





V 太 Sin(wT/2) 
(w7/2) 图 9.5-3 ”三 角形 自 相关 函数 
这 个 三 角形 自 相 关 函 数 的 功率 谱 密度 Syx 则 为 
2 
Sxx(o) =7 (ee ) (9. 5-10) 


为 了 验证 结果 的 正确 性 , 我 们 注意 到 Sxx(0) 刚好 是 自 相 关 函 数 的 面积 ， 对 三 角形 很 容易 计算 
得 到 其 结果 为 了, 因此 


十 oo 


1 
Sxx(0) = | Rxx(r)dr=2.3°1:7 


出 现 三 角形 自 相 关 函 数 的 另 一 种 情况 是 计算 白 噪 声 的 积分 平均 值 , 即 
= 2 沁 衬 


白 噪 声 W(t) 的 均值 为 0、 自 相关 函数 为 Ryw(7T) = 6(7)。 则 jwx(t) = 0, 玖 [和 三) 和 (所 ) ] 为 
Rxx(ti,t2) = 元 | 洒 Rww(s1 — s2)dsids2 


2—T 


1 ti t2 
一 一 | | 0(s2 ~ sss| ds1 
£ ti—T t2—T 


将 方 括号 里 面 的 积分 定义 为 


l,t2—T<s<to 


tz 
gts (51) a bs 0(s2 S81)ds2 一 I 其 他 
为 si 的 函数 , 图 9.5-4 显示 了 其 图 形 , 于 是 
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工本 泡 
Rxx(ti,t2) = | gt (Ss1)ds1 





Tr 
= max LE 二 td] 
更 多 有 关 白 噪声 的 讨论 
白 噪声 的 相关 函 数 为 冲 激 函 数 [参见 
式 (9.3-6) ] , 则 其 功率 谱 密度 为 常数 人 
Sww(w) = 2， 一 co <w << 十 co 


白 品 声名 称 的 由 来 是 因为 其 功率 谱 在 整个 频率 轴 上 为 常数 , 与 白光 类 似 , 白光 的 光谱 对 所 有 的 
波长 都 是 恒定 值 2。 这 里 我 们 把 白 噪声 信号 看 成 是 二 阶 序列 的 极限 。 考 虑 一 个 均值 为 0 的 独 
立 增 量 过 程 ( 参 见 定 义 9.2-1) , 比如 维 纳 过 程 [Rxx(t, 厂 ) = omin( 志 ,所 ) ] 或 中 心 泊 松 过 程 
Ne(t) = N(t) -At, 其 相关 函数 为 Ryw(ti, ts) = Amin(ti, ts)。 事 实 上 , 这 里 只 需要 不 相关 
的 增 量 ; 即 我 们 只 需要 (t) 具 有 不 相关 的 增 量 。 对 这 类 过 程 , 根据 式 (9. 2-17), 我 们 有 

瑟 [tt Ah X(t))”| = aA 
其 中 a 为 方差 参数 。 

设 和 (bt 表示 一 阶 差分 除 以 A, 即 

Xalt) SlX(t+A)— X(t)/A 

我 们 有 
ELX2(t)] = a/A 
和 
EI[XA(t1)XA(t2)] = 0, | 妇 一 三 | > A 
如 果 考 虑 到 | 所 - 志 1 < A, 则 可 以 进行 以 下 的 计算 , 得 出 的 相关 函数 刚好 是 例 9.5-4 中 所 示 的 三 角 
函数 。 由 于 (ti +A) -了 (tt) 服从 N(0, A) 分 布 , 设 志 < ,将 ti 移动 至 0, 移动 至 ts - 
ti , 则 数学 期 望 变 成 了 
EIX(A) (X(t th +A) — X(t —t)) 
则 RE[X(A) (X(A) 一 Xda -1 由 于 (A, 刀 -二 +Aln(OAI=4 
= aA- a(t -ty)] = Ol- (tt)/Al 

这 样 , 这 个 由 一 阶 差分 生成 的 过 程 为 平稳 随机 过 程 (均值 为 0), 相关 函数 尽 (7) 为 

RAA(T) = ~ max LE 一 Ro 
由 图 9. 5-5 我 们 注意 到 随 着 A 趋 近 于 0, 这 个 相关 函数 趋 近 于 一 个 冲 激 函 数 。 








@ 这 是 数学 上 的 理想 化 模型 ! 物理 原理 告诉 我 们 , 对 于 真实 的 模型 ,功率 谱 密 度 在 w 一 % 时 必须 趋 近 于 0。 
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在 例 9. 5-4 中 我 们 已 经 计算 了 一 个 三 角 函 数 的 傅 里 叶 变 换 , 通过 观察 , 可 以 将 其 功率 谱 密 

度 写 成 
SAA(W)= a (2) 
这 个 功率 谱 在 1 w1 = m/(3A) 内 近似 平坦 。 随 着 
A 一 0, Sa(w) 在 所 有 频率 点 上 都 趋 近 于 一 个 党 
数 as 因此 随 着 A 一 0, X(t)“ 趋 向 于 ” 白 噪声 ， 
即 不 相关 增 量 过 程 导 数 
2 


0 Be 
= Br; lo” min(ti, t2)] 


Ryxltl, t2) 





es 9 2 
= 区 Lu( — t2)] 
二 图 9.55 天 (1) 的 相关 函数 


如 果 一 个 系统 对 激励 的 响应 是 连续 的 , 我 们 就 说 这 个 系统 是 连续 的 , 即 系统 的 运算 是 连续 的 运算 。 
这 意味 着 , 输入 有 微小 变化 时 输出 也 会 产生 微小 变化 。 一 个 稳定 的 微分 或 差分 方程 就 是 这 种 连续 运 
算 的 一 个 例子 。 我 们 看 到 对 于 用 系统 函数 描述 的 线性 时 不 变 系统 ， 当 随机 过 程 X(t) 作用 于 这 
个 系统 ,如果 A 很 小 , 并 且 系 统 是 低 通 系 统 , 即 系统 函数 随 着 | w1 一 % 而 趋 问 于 0, 则 其 响应 
只 会 有 轻微 的 变化 。 因 此 用 白 噪 声 来 构造 这 个 极限 输出 就 是 最 方便 的 方法 (参见 习题 9. 36 ) 。 
如 果 将 式 (9.5-3) 的 两 边 分 别 做 传 里 叶 变换 , 可 得 到 互 谱 密度 

Syx(®) = H(w)Sxx(%) (9.5-11) 
由 于 Syx 是 互相 关 表 示 Ryx 的 频 域 函数 , 式 (9.5-11) 告诉 我 们 在 瑟 (w) 和 Sxx(w) 的 乘积 较 大 
时 对 应 的 频率 处 了 Y(t) 和 六 (t) 的 互相 关 很 强 。 类 似 地 ,由 式 (9.5-5), 可 以 得 到 


Sxy(%) = H’*(w)Sxx(%) (9.5-12) 
由 式 (9.5-4), 在 这 里 重复 一 过 ， 即 
Ryy(7T) = h(7) * Rxx(T)*h*(—7) (9.5-13) 


根据 传 里 叶 变换 可 得 到 

Syvy (oy = I) St = Gos x (ey (9.5-14) 
这 两 个 公式 是 平稳 随机 过 程 理论 中 最 重要 的 公式 。 特 别 地 , 式 (9.5-14) 说 明了 在 某 个 频率 处 
输出 随机 过 程 的 平均 功率 是 如 何 由 输入 的 平均 功率 与 1 Br(o) 1? 相 乘 得 到 的 , 我 们 称 
G(w) =1 H(w) 1* 为 功率 谱 传递 函数 。 

例 9.5-5 (平均 功率 ) 一 个 LSI 系统 的 传递 函数 为 

Hl) = (EE) exp |-i (o£)| ma 

其 中 sgn( ， ) 是 符号 函数 ， 频率 窗 函 数 W(w) 为 


5 w| < 407 
W(w) 全 {2 


设 输入 平稳 随机 过 程 的 自 相关 函数 为 


Rxx(r)= 36(7) +2 
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计算 在 0 ~1 Hz( 单 边 带 ) 频 带 内 的 平均 可 测 功率 ， 以 弧度 表示 ， 则 为 双边 带 - 2m ~ 2 范围 
内 。 首 先 对 Ree(r) 做 传 里 叶 变换 ， 得 到 Syx(w) = 号 + 4m5(w)。 然 后 计算 功率 传递 函数 
G(o) =1 HCw ) 1 = ( 息 ) W(w)。 则 输出 的 功率 谱 密 度 为 


=1W 
从 式 (9.5-11) 我 们 看 到 互 谱 密度 函数 可 以 为 复数 , 由 于 是 将 Sxx(w) 与 一 个 任意 的 、 一 般 
的 复数 五 相 乘 , 因此 互 谱 密度 不 再 具有 Sxx(w) 的 非 负 的 、 偶 对 称 的 性 质 。 而 从 式 (9.5-14) 看 
到 , 输出 功率 谱 仍然 具有 与 输入 功率 谱 密度 一 样 的 实 的 、 非 负 的 偶 函 数 的 性 质 , 这 是 由 于 与 
| 五 1* 相 乘 不 会 改变 这 些 性 质 。 表 9. 5-2 将 以 上 提 到 的 这 些 关系 进行 了 归纳 以 备 参 考 。 
表 9.5-2 线性 系统 在 广义 平稳 随机 过 程 输入 下 的 输入 /输出 关系 


WSS 随机 过 程 : 输出 均值 : 

Y(t) =h(t) * X(t) uy =H(0)x 

互相 关 : 互 功率 谱 密 度 : 

Ryxy(7) =Rxx(7T) *h*(—r7) Sxy(w) =Sxx(w)H" (w) 

Ryx(7) =h(7) * Rxx(7) Syx(w) =H(w)Syxx(w) 

Ryy(7) =Ryx(7) *h" (—7) Syy(w) =Syx(w)H" (w) 

自 相关 : 功率 谱 密 度 : 

Ryy(7) =h(7) * Rxx(7) *h* (—7) Syy(w) =IH(w) ?Sxx(w) 
=g(7) * Rxx(7) =G(w)Sxx(w) 

输出 功率 及 方差 : 


Ell YIt] ?| = Ry(0) = 冯 ECo) 1?Sxx(w) do 


oy = Ryy[0] -| Lr 


现在 就 可 以 功率 谱 密 度 清楚 地 解释 为 平均 功率 的 密度 与 频率 的 关系 。 我 们 将 会 证 明 对 所 
有 w 都 有 S(w) = 0, 在 频带 (w;， ws) 内 的 平均 功率 可 以 通过 对 S(w) 在 这 个 频带 内 积分 
得 到 。 

定理 9.5-1 设 (t) 是 一 个 平稳 的 、 二 阶 随 机 过 程 ， 其 相关 函数 为 Rxx(7)，, 功率 谱 密 度 
为 Sixx(w)。 则 Sxx(w) 三 0 并且 对 所 有 ws > wl 


de 
DT | bb (w)dw 


为 频带 (wl, ws) 内 的 平均 功率 。 
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证 明 设 w。> wi, 且 都 为 实数 。 定 义 一 个 滤波 器 的 传递 函数 为 
A fl1, we (wi,w2) 
Hl(w) [a 其 他 ; 4 
注意 到 它 只 允许 在 (owl ,amws ) 带 内 的 信号 通过 。 如 果 六 (1) 输入 到 这 个 滤波 器 , 则 输出 了 Y(t) 的 
功率 谱 密 度 为 [ 由 式 (9.5-14) ] 
, _ [Sxx(®), w Ee (wi1,w2) 
Syy(w) = { 0, 其 他 
现在 输出 了 (t) 的 平均 功率 E[| Y(t) 1*] = Ry(0) 


1 
全 | Syy(w)dw = 一 一 | Sxx (w)dw = 0 
ps 


对 所 有 ws > wj， 上 式 都 成 立 。 则 选择 ws = w1，, 我 们 可 以 得 到 w, 对 所 有 Sxx(w) 三 0 成 立 ， 函 
数 Sxx 被 理解 为 功率 谱 密度 是 因为 将 其 对 一 个 频带 积分 ， 可 以 得 到 其 在 这 个 频带 内 的 平均 

之 前 看 到 一 个 函数 是 一 个 有 效 的 相关 函数 或 协 方差 函数 的 条 件 是 非常 强 的 。 事实 上 ， 
我 们 看 到 这 个 函数 必须 是 半 正 定 的 , 尽管 实际 上 并 没有 证 明 这 个 条 件 是 充分 的 。 我 们 看 到 
在 频 域 中 进行 分 析 的 优势 在 于 容易 判断 一 个 给 定 的 频率 函数 是 否 为 功率 谱 密 度 。 这 个 函数 
必须 是 实 的 、 非 负 的 , 也 就 是 S(w) 宇 0。 对 于 一 个 给 定 的 函数 了 (w) 三 0, 假设 功率 谱 密 度 为 Sww 
= 1 的 白 噪 声 通过 一 个 传递 函数 为 五 (w) = VF(w) 的 滤波 器 , 则 根据 式 (9.5-14), 输出 的 功率 
谱 密 度 为 Sxx(w) =F(w)，, 这 样 就 证 明了 五 是 一 个 有 效 的 功率 谱 密 度 。 如 果 随 机 过 程 为 实 值 ， 
绝 大 部 分 随机 过 程 都 满足 ， 则 还 需要 了 (w) 为 偶 函 数 以 满足 定义 9.5-1 后 列举 的 功率 谱 密 度 的 
性 质 (2) 。 所 有 这 些 可 以 总 结 如 下 : 

定理 9.5-2 设 F(w) 为 一 个 实 的 非 负 的 可 积 函 数 ， 即 对 所 有 四 有 下 (w) 三 0。 那 么 , 存在 
一 个 功率 谱 密 度 为 S(w) = F(w) 的 平稳 随机 过 程 。 如 果 随 机 过 程 为 实 过程 , 则 下 (w) 一 定 是 
w 的 偶 函 数 。 


我 们 看 到 要 检验 一 个 功率 谱 密度 是 否 有 效 比 证 明 相 关 函 数 的 半 正 定性 要 容易 些 。 事 实 上 ， 
很 容易 证 明 一 个 函数 半 正 定性 等 价 于 它 的 傅 里 叶 变 换 的 非 负 性 ,因此 半 正 定性 是 证 明 一 个 天 
数 为 有 效 的 相关 函数 或 协 方差 函数 的 充分 条 件 。 首 先 , 由 定理 9. 5-2 知道 , S(w) 的 非 负 性 就 
包含 了 半 正 定 的 条 件 。 为 证 明 等 效 性 , 我 们 只 剩 下 要 证 明 函 数 妃 r) 的 半 正 定 条 件 包含 了 其 全 
里 叶 变 换 F(w) 的 非 负 性 。 继 续 证 明 如 下 : 由 于 f(7) 是 半 正 定 的 , 则 


N NN 
> >， nln f (Fn — Tn) 0 


n=1 m=1 


Ryy(0) = 


而 且 由 于 
十 oo 
f(7)= Oo | Flw)etl? dw 
我 们 有 
下 Te ; 
5 > >， (ww | Flo)etioterm) ) dw 三 0 


这 个 式 子 可 以 写 为 


1 六” +jw(rn 一 rm) 1 
充 | 、 下 (Ow) DD ana 和 etj 人 do=- 去 | _ F(w) 


也 m 


直 2 
anet+lowr"| dw>=0 
n=1 








我 们 看 到 在 上 式 幅度 平方 项 中 的 式 子 被 称 为 横向 或 节拍 延迟 滤波 器 。 这 样 只 要 选择 的 入 足够 
大 , 上 且 r 等 间隔 , 就 可 以 选择 w 的 值 来 近似 具有 任意 传递 函数 吾 (o) 的 理想 滤波 器 。 通 过 将 
如 设 为 以 w 为 中 心 的 非常 罕 带 的 滤波 器 ,就 可 以 得 到 对 所 有 w(- % < w <+ %) 都 有 
F(w) > 0, 于 是 得 到 了 下 一 定理 ; 

定理 9.5-3 _/(7) 是 相关 函数 的 充分 必要 条 件 是 它 必 须 为 半 正 定 的 。 

这 里 有 一 个 与 概率 密度 函数 类 似 的 情况 ,概率 密度 可 以 被 看 成 其 特征 函数 的 傅 里 叶 变 换 。 
我 们 已 经 知道 , 一 个 函数 是 有 效 的 概率 密度 函数 的 充分 条 件 是 它 必 须 为 非 负 的 (假定 已 被 归 一 
化 为 积分 等 于 1) ; 因此 概率 密度 与 功率 谱 密 度 类 似 ; 实际 上 , 可 以 定义 一 个 类 似 于 累积 分 布 
函数 的 谱 分 布 函 数 "”" 。 这 样 特征 函数 和 相关 函数 也 是 类 似 的 ,所 以 它们 为 使 其 各 自 有 效 都 
必须 为 半 正定 的 。 此 外 概率 密度 的 积分 为 1 使 得 特征 函数 满足 B(0) = 1, 这 个 条 件 很 容易 
通过 缩放 一 个 不 等 于 0 的 任意 半 正 定 函 数 来 满足 。 


平稳 过 程 和 微分 方程 


我 们 现在 来 看 统计 微分 方程 , 输入 为 一 个 平稳 的 或 至 少 是 广义 平稳 的 随机 过 程 , 并 且 是 一 
个 任意 时 刻 都 有 效 的 线性 常 系数 微分 方程 (LCCDE)。 假 设 方程 在 有 界 输入 、 有 界 输 出 条 件 下 
是 稳定 的 , 所 以 输出 随机 过 程 也 是 平稳 的 (或 者 广义 平稳 , 如果 输入 也 是 广义 平稳 的 )。 

考虑 以 下 LCCDE: 


aNY M(t) + av_Y -Dt) + .+ aoY(t) 


= bmXM(t) + bm_iX MN(t) + + boX(t), 一 oo <t < 十 co 
这 表明 输出 了 (t) 是 输入 X(t) 经 过 一 个 线性 系统 产生 的 , 线性 系统 的 频率 响应 为 
H(w) = B(w)/A(w), 有 ao #0 
其 中 
M 
Bo) 全 》 bn(jo)™ 
m=0 
和 


N 
A(w) S Dan(jw)" 
n=0 


它 是 一 个 有 理 函 数 , 分 子 B(w) 和 分 母 A(w) 都 为 多 项 式 。 因 为 系统 是 稳定 的 , 我 们 可 以 运用 
上 一 节 的 结论 得 到 
Ly = 4xH(O) 
Syx(%) = H(w) Sxx(%) 
以 及 
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Syy(w) = |H(w)| >Sxx(w) 
其 中 
H(0)=bo/ao 和 |H(@)| =|B(o) PA 
因此 
Wy =(bo/ao) hx 和 Syy(®)= (|B(wo)l /IA(w)|) Sxx(w) 

这 种 频 域 分 析 方 法 一 般 会 优 于 时 域 分 析 方法 ,但 要 求 输入 输出 都 至 少 是 平稳 随机 过 程 。 
我 们 得 到 谱 密 度 后 , 可 以 用 IFT 来 得 到 相关 函数 和 协 方差 函数 。 如 果 把 IT 的 计算 过 程 看 成 
双边 的 拉 普 拉 斯 逆 变 换 , 计算 常常 更 容易 。 式 (9.5-3) 的 拉 普 拉 斯 变换 为 

Syx(s) = H(s)Sxx(s) (9.5-15) 
而 式 (9.5-13 ) 的 拉 普 拉 斯 变换 为 
Syy(s) = H(s)H(—s)Sxx(s) (9.5-16) 
因为 h* (一 7)H( -ss)。 回忆 一 下 双边 拉 普 拉 斯 变换 的 定义 ” ,对 任意 f(7) 


F(s) 全 | f(r)e sdr 


注意 到 这 样 一 个 具有 复 变 量 s 的 函数 可 由 具有 实 变量 w 的 傅 里 叶 变 换 函 数 F(w) 得 到 ， 只 需 
两 个 步骤 , 首先 设 

F(s)s=iw SF(w) 
然后 用 s 取代 jw。 在 第 8 章 对 于 离散 的 情况 我 们 用 了 类 似 的 扩展 方法 , 将 傅 里 叶 变 换 通 过 2Z 变 
换 扩展 到 整个 复 平面 。 

例 9.5-6 (输出 相关 一 一 一 阶 系统 ) 考 虑 一 阶 微分 方程 
Y’(t)+aY(t) = X(t), a>0 
输入 尺 () 平 稳 且 均值 x = 0, 协 方差 函数 Kxx(7T) = 6(7)，, 则 很 容易 的 得 到 系统 函数 为 
(0 一 二 二 襄 

输入 过 程 的 功率 谱 密 度 为 

Sxx(w)=1 
于 是 可 得 到 下 列 互 功率 谱 密 度 和 输出 功率 谱 密度 


1 

9yx(w) = H(w)Sxx(w) = i 
ey H 29 2 kk w) 一 二 一 1 
yy (w) = | (w)| xx( = |a 十 jw|? > a2 十 中 2 





现在 将 其 变 为 拉 普 拉 斯 变换 , 设 S = jw 


1 
Syy(jo) = 一 -一 
yy(jw) (oz 加 (jw)’) 
虹 
(Q 十 jw)(a — jw) 





则 





Syyls) = (s+a)(—s+a) 


用 贸 数 法 (参见 附录 人 A) 或 部 分 分 数 展开 法 ， 可 由 拉 普 拉 斯 逆 变 换 直接 得 到 输出 的 自 相关 
函数 为 
Ryy(7T) = exp(~aln), 一 co < 之 TT< 之 十 00 
由 于 jy = 0, 所 以 它 也 是 输出 的 协 方 差 函 数 。 通 过 上 面 Siy(w) 方程 , 还 可 以 得 到 互相 关 函 数 
为 Ryx(7) = exp(— ar)u(7), 


在 例 9.5-6 中 很 有 趣 的 一 点 是 对 于 r <0 有 Ryx(7) = 0。 这 意味 着 在 输入 XX 为 白 噪声 的 情 
况 下 输出 了 与 输入 也 的 所 有 未 来 值 正 交 。 之 所 以 会 这 样 有 两 个 原因 : 系统 是 因果 系统 和 输入 
为 白 噪声 。 系 统 的 因果 性 要 求 输出 不 直接 依赖 于 未 来 的 输入 值 , 而 是 只 依赖 于 现在 和 过 去 的 
输入 值 。 输 入 的 白 噪 声 特性 确保 了 过 去 和 现在 的 输入 值 与 未 来 的 输入 值 。 将 这 两 个 条 件 联 系 
起 来 , 我 们 看 到 当前 的 输出 与 未 来 的 输入 之 间 没 有 互相 关 性 。 如 果 进 一 步 假 设 输 入 是 高 斯 的 ， 
则 输入 过 程 是 一 个 独立 过 程 , 输出 与 所 有 未 来 的 输入 独立 。 则 我 们 可 以 说 系统 的 因果 性 阻止 
了 当前 时 刻 的 输出 当 未 来 输入 值 的 直接 依赖 性 , 独立 的 输入 过 程 阻 止 了 任何 直接 的 依赖 性 。 
这 个 概念 对 用 于 估计 理论 的 马尔 可 夫 过 程 ( 参 见 第 11 章 ) 的 理论 是 非常 重要 的 。 
例 9.5-7 (输出 相关 函数 一 二 阶 系统 ) 考 虑 以 下 二 阶 LCCDE 系统 
dyY(t)  、dY( 
dt12 dt 
与 上 一 个 例子 类 似 ， 仍 然 是 白 噪声 输入 。 这 里 系统 函数 是 


H(w) = 2 


+ 2Y(t) = 5X(t) 





J 
(jo)?2+3jo+2 (2-60)+ jw 








则 与 例 9.5-6 类 似 , 输出 功率 谱 密 度 为 
S 加 25 加 25 
yy(w) ™ (2 —w?)? 北 (3w)? 4 i 

运用 留 数 法 计算 IFT, 我 们 定义 一 个 复 变量 的 函数 Syy (s) 1,.,。 A Syy(w)， 用 复 变 量 jw 重 写 


右边 可 得 到 








25 
HO) (or So +4 





代入 s = jw, 可 得 到 
25 


SyY(s) = Sr Boia 


做 因 式 分 解 
(s 二 2)(s 十 1) | (一 s 十 2)( 一 s 十 1) = H(s)H(—s) 


其 中 瑟 (s) 是 拉 普 拉 斯 变换 系统 函数 。 然 后 由 拉 普 拉 斯 送 变 换 得 到 输出 的 相关 函数 











1 L 
Ryy(7) = 25 6 exp(—|7|) 15 exp( 一 2|7|) | ， -56 之 守之 二 09 


我 们 将 详细 的 计算 过 程 留 给 感 兴 趣 的 读者 。 
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9.6 周期 和 循环 平稳 过 程 


除了 平稳 和 广义 平稳 随机 过 程 , 还 有 两 类 其 他 的 随机 过 程 经 常会 遇 到 。 它 们 就 是 周期 和 
循环 平稳 随机 过 程 , 这 里 给 出 它们 的 定义 : 

定义 9.6-1 一 个 随机 过 程 耻 (t) 是 广义 周期 的 ， 如果 存 在 一 个 全 > 0, 对 所 有 的 上 有 

Hx(t)= kx(t+7) 
并 且 对 所 有 的 ,ts。 有 
Kxx(ti,t2) = Kxx(ti+T,t2) = Kxx(ti,ts +T) 

最 小 的 了 T 了 称 为 周期 , 注意 到 Kxx (三 ， 扎 ) 是 以 了 为 周期 的 周期 函数 。 

一 个 广义 周期 随机 过 程 的 例子 是 例 9.4-1 中 提 到 的 随机 复 指数 过 程 。 实 际 上 , 过 程 的 随机 
傅 里 叶 级 数 表示 为 


27k 
DS > 4 exp 0 于 ) (9.6-1) 
k=1 


其 中 的 随机 变量 系数 A 也 是 广义 周期 的 。 广 义 周 期 过 程 也 可 能 是 WSS, 这 种 情况 我 们 称 其 
为 广义 周期 平稳 。 这 类 过 程 将 在 网 上 的 第 10 章 进一步 讨论 , 我 们 称 为 均 方 周期 。 一 个 广义 
周期 过 程 的 协 方差 函数 在 图 9. 6-1 中 勾画 出 来 ,可 看 到 Kxx (ti, 刀 ) 是 二 维 周 期 函数 ,其 周 
期 为 (7, 7)。 在 网 上 的 第 10 章 会 看 到 , 除了 某 些 概率 为 零 的 事件 集 , 广义 周期 随机 过 程 的 
样本 函数 依 概率 1 为 周期 函数 ， 即 
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图 9.6-1 广义 (WS) 周 期 随机 过 程 的 协 方差 函数 可 能 的 轮廓 图 
男 一 个 重要 的 分 类 是 循环 平稳 。 它 只 是 部 分 与 周期 性 相关 的 , 但 非常 容易 混淆 。 读 者 要 
仔细 区 分 以 下 定义 的 不 同 。 大 体 上 说 , 循环 平稳 过 程 具 有 周期 的 统计 特性 , 但 周期 过 程 的 样本 
函数 是 周期 的 。 
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定义 9.6-2 一 个 随机 过 程 了 X(t) 是 广义 循环 平稳 的 , 如 果 存 在 一 个 正 的 了 满足 对 所 有 t 有 
Hx(t) = kx(t+T) 
并 且 对 所 有 石 ， 刀 有 
Kxx(ti,t2) = Kxx(ti+t+7,t2++T) 


一 个 循环 平稳 的 例子 是 式 (9. 2-11) 中 的 随机 PSK 过 程 。 它 的 均值 函数 为 0, 因此 是 一 般 
周期 的 。 它 的 协 方差 函数 [参见 式 (9.2-13) ] 对 两 个 变量 的 平移 是 不 变 的 。 注 意 式 (9. 2-13 ) 不 
是 双 周期 的 [因为 Rxx(0, 7) = 0 关 Rxx(0, 0)]。 还 需要 注意 已 ( 鸭 的 样本 函数 在 任何 意义 下 
都 不 是 周期 的 。 

一 个 典型 的 循环 平稳 随机 过 程 的 协 方差 函数 的 常数 值 轮 廓 在 图 9. 6-2 中 画 出 。 注 意 这 张 
图 与 图 9.6-1 中 显示 的 周期 随机 过 程 的 区 别 。 实 际 上 , 循环 平稳 意味 着 其 统计 特性 是 具有 周期 
性 的 , 但 随机 过 程 本 身 不 是 周期 的 。 

沿 着 45° 线 ( 即 t= 刀 ) 求 平均 , 可 以 得 到 这 两 类 过 程 的 广义 平稳 随机 过 程 。 图 9. 6-3 中 显 
示 了 这 个 周期 过 程 恒定 密度 的 轮廓 变 为 了 WSS 周期 过 程 的 直线 形式 。 这 个 循环 平稳 过 程 的 
WSS 过 程 刚 好 变 成 了 一 般 的 WSS 过 程 , 因为 在 135° 线 (th = -所 ) 上 缺少 任何 的 周期 结构 。 


t 




























































































图 9.6-2 WSS 循环 平稳 随机 过 程 的 图 9.6-3 WSS 周期 随机 过 程 的 协 方差 函 数 可 能 的 
协 方差 函数 可 能 的 轮廓 图 轮廓 图 ( 实 线 是 最 大 值 ,虚线 是 最 小 值 ) 


除了 调制 器 , 扫描 传感器 也 会 产生 循环 平稳 过 程 。 例 如 , 在 电视 机 中 的 逐 行 扫描 器 就 将 随 
机 图 像 场 变 成 了 一 个 可 用 循环 平稳 随机 过 程 建 模 的 一 维 随机 过 程 。 在 通信 系统 中 , 循环 平稳 
经 常会 因为 波形 以 波 特 率 或 符号 率 重复 而 出 现 。 

在 信号 处 理 中 ， 当 一 个 平稳 随机 序列 被 一 个 滤波 器 组 和 二 次 采样 分 析 时 可 能 出 现 循环 平 
稳 。 接 下 来 的 滤波 器 组 综合 包括 上 采样 和 重 构 滤波 器 。 如 果 二 次 采样 的 周期 是 入 , 则 产生 的 
综合 随机 序列 会 是 周期 为 N 的 循环 平稳 过 程 。 当 用 完美 的 重 构 滤 波 器 时 , 综合 的 输出 会 达到 
真实 的 平稳 。 

当 循 环 平稳 过 程 不 是 平稳 或 非 WSS 时 , 有 时 将 一 个 循环 平稳 过 程 转化 为 一 个 平稳 过 程 是 
合适 的 , 其 过 程 如 下 所 示 。 

例 9.6-1 (WSS PSK) 在 9.2 节 中 , 我 们 已 经 看 到 PSK 过 程 是 循环 平稳 的 。 因 此 不 是 
WSS, 这 由 式 (9.2-13) 很 容易 看 出 。 循 环 平稳 的 出 现 是 基于 这 样 的 事实 : 模拟 角 过 程 B。(D) 
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通过 增加 一 个 随机 杰 量 0 pi 

X(t) = cos (2nfet + Oalt) + 2rfeT%) (9.6-2) 
7, 在 [0, T] 之 间 均 匀 分 布 , 并 且 与 角 过程 9。(t) 独立 。 则 我 们 很 容易 看 出 ,均值 和 协 方差 函 
数 只 需要 对 T 求 集 平均 来 修正 即 可 , 而 由 于 T 是 均匀 分 布 的 ,所 以 只 需 在 [0, T] 进 行 积分 即 
可 。 因 此 可 得 到 


1 T 
Ryx(tit+7,t1)= 元 | Rxx(ti+T+t.ti+t)dt 


十 co 
元 | sQ(ti+t+7)so(ti tt)dt (9.6-3) 
1 
= 元 $sQ(7) * SQ(—T) 
刚好 是 位 移 7 的 函数 , 则 收 (t) 是 一 个 WSS 随机 过 程 。 

例 9.6-2 (PSK 的 功率 谱 密 度 ) 在 例 9. 6-1 中 通过 一 个 平均 过 程 ,我们 定义 一 个 随机 PSK 
信号 的 WSS 形式 , 其 中 平均 是 对 消息 时 间或 波 特 间 隔 7 了 内 进行 的 。 得 到 的 WSS 随机 过 程 
及 (1) 的 相关 函数 [ 参见 方程 (9.6-3) ] 是 

[ 
Rxx(7) = 5Q(7) * sSQ( 一 7) 


其 中 so(7) 为 
sin(27wfc7), 0 二 元 丢人 
sQ(7) = 2 0. 其 他 
则 这 个 PSK 信号 的 WSS 形式 的 功率 谱 密 度 
Sxx(®) 一 FT{RRROT)} 


1 9 
= IFT{so(n))} 


mo {sme ar) sn(o+2nf)s) Rt 
“em (0 4 2nfe)T 


jlT 231 
其 图 形 可 用 MATLAB 绘制 。 文件 psd PSK.m 在 本 书 的 网 站 上 可 查阅 。 
一 些 图 是 用 psd PSK.m 秀 的 , 针对 两 组 不 同 的 ,和 了 的 值 。 首 先 来 看 图 9.6-4 中 的 psd 
图 , 当 f. = 2.5, 7 = 0.5 时 , Sxx(w) 的 正 频 率 和 负 频 率 部 分 有 相当 大 的 重 登 。 在 载 频 ff 处 没 
有 集中 的 功率 是 不 足 为 奇 的 ， 因 为 在 波 特 间隔 了 内 只 包括 了 so(t) 的 一 个 周期 很 少 的 部 分 
接 下 来 的 一 对 图 则 显示 了 完全 不 同 的 情况 ,功率 高 度 集中 在 we 处 。 这 张 图 是 在 f. = 3.0, T= 
5.0 条 件 下 计算 得 到 的 ,因此 在 波 特 间 隔 了 内 有 正弦 波形 的 15 个 周期 。 图 9. 6-5 是 一 个 线性 
图 , 而 图 9.6-6 是 Sxx(w) 对 数 图 。 





@ 近似 等 号 的 原因 是 , 我 们 忽略 了 式 (9.64) 中 两 个 sinc 信号 在 + 处 的 交叉 项 , 因为 fT >> 1。 
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图 9.6-4 PSK 的 功率 谱 密 度 , 其 中 大 = 2.5, 7 = 0.5 
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图 9.6-5 PSK 的 功率 谱 密度 , 其 中 f. =3, 7 =5 


log Sxx(®) 
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图 9.6-6 PSK 的 功率 谱 密 度 的 对 数 图 , 其 中 f. =3, T=5 
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9.7 向 量 过 程 和 状态 方程 


在 这 一 节 中 我 们 会 将 9.5 节 中 的 一 些 结论 推广 到 重要 的 向 量 随机 过 程 类 中 。 因 此 会 带 来 
一 个 关于 状态 方程 和 向 量 马尔 可 夫 过 程 的 简短 讨论 。 向 量 随 机 过 程 会 在 通信 系统 带 通信 号 的 
同 相 和 正 交 分 量 的 双 通 道 系统 中 出 现 。 向 量 过 程 也 广泛 地 应 用 于 控制 系统 用 来 对 具有 多 输入 
和 和 输出 的 工业 过 程 建 模 。 同 时 , 向 量 模 型 也 会 从 高 阶 标量 模型 里 人 为 地 创造 出 来 , 为 了 运用 在 
估计 和 控制 理论 中 非常 有 用 的 “状态 ”概念 。 


设 了 X(t) 和 X(t) 是 两 个 联合 平稳 随机 过 程 , 分 别 输 
入 到 系统 五 和 厂 ; 中 , 输出 为 卫 和 对, 如 图 9.7-1 所 示 。 % 介 用 人 Wi 
由 之 前 的 讨论 知道 如 何 计算 Rxy, Rxry,, Ryy, Ryy,o 


我 们 现在 来 看 看 怎么 计算 系统 之 间 的 相关 函数 ,也 就 是 


Ryy ,Rxy 和 Ryy,。 给 定 Rxx,, 首先 计算 X(t) Ho) Y2(t) 
Rxiys(7) = E[Xi(t + 7)Y2 人] 


十 co 
= | E[Xi(t+7)X3(t — B)h3(B)dB 图 9.7-1 一 个 通用 的 (无 关 
2 的 ) 两 通道 LSI 系 统 
=| Rixo(r + 6)na(0)d8 
十 oo 
二 | Rxixs(T—P)hs(—B)dB', (8 = 一 0) 
于 是 
Rxiys(7) = Rx xa(7T) * h2(—7) 
通过 对 称 性 得 到 
Rxsy(7T) = Rxsxi(7T) * hi(—7) 
输出 的 互相 关 为 
Ry,y,(7T) = hi(7T)* Rx,x,(T)* h2(—7) 
结果 用 功率 谱 表 示 为 
Sxiy(w) = Sx xs (2)H3(w) 
以 及 


Syy(%) = Hi(w)H3(w)S x x,(®) 
我 们 注意 以 下 重要 的 事实 : 如 果 两 个 系统 函数 瑟 , 和 H, 的 支 集 ? 不 重奏 , 则 输出 了, 和 二 是 正 
交 随 机 过 程 并 且 与 输入 过 程 中 任何 相关 函数 无 关 。 可 以 用 图 9. 7-2 所 示 的 带 内 部 耦合 的 双 通 
道 系统 来 表示 。 这 里 有 两 个 附加 的 系统 函数 来 表示 输入 和 输出 的 交叉 耦合 。 它 们 用 瑟 。 和 有 H; 
来 表示 。 
这 种 情况 最 好 用 向 量 法 处 理 ; 因此 我 们 定义 





@ 回忆 一 下 函数 g 的 支 集 定义 为 
supp(g) 全 {zlg(z) # 0} 
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H11(@w) 
四 






R(t) ES [人 X2(b]T， Y(t) 全 [到 的 , 玖 人] 





X1(t) 





A [ab hialt) 
ns [ple 全 个 
其 中 h(t) 是 具有 频率 响应 五 ,(w) 的 子 系统 的 
冲 激 响 应 。 于 是 得 到 

Y(t) = h(t) *¥(t) (9.7-1) 
其 中 向 量 卷 积 定义 为 


图 9.7-2 通用 的 两 通道 LSI 系统 


N 
(h(t) * B(t))i SY his(t) * X(t) 
j=1 


如 果 定 义 以 下 的 输入 输出 的 相关 矩阵 


Rr (nS | Rt) Rr)] (9.72) 


Rn [RD (0.78) 
则 可 以 证 明 ( 参 见习 题 9.44) 
Ryy (7) = h(7)* Rxx (7)* hi(—7) (9.7-4) 
其 中 的 ' 代表 埃 尔 米 特 ( 或 共 力 ) 转 置 。 
进行 矩阵 的 傅 里 叶 变换 ,可 得 到 
Srr(w) = H(w)Sxx (wo)Hi(w) (9.7-5) 
其 中 
Hlw) = FT{h(t)} 
S(w) = FT{R(7)} 
在 这 个 符号 中 意味 着 隐 含 了 按 矩 阵 分 量 依次 求 傅 里 叶 变换 。 这 种 多 通道 的 情况 显然 是 通过 扩 
大 相关 和 矩阵 的 维 数 来 使 其 应 用 到 M 个 输入 入 输出 的 情况 中 。 


状态 方程 


正如 习题 9.43 所 证 明 的 那样 , 可 以 将 阶 LCCDE 重 写 为 一 阶 向 量 微分 方程 的 形式 ,其 

中 输出 向 量 的 维 数 等 于 入 
Y(t)= AY(t)+BX(t), 一 co < 上 < 十 oo (9.7-6) 
这 刚好 是 式 (9.7-1) 的 多 通道 系统 , 也 可 以 被 解释 为 一 组 N 个 耦合 的 一 阶 LCCDE。 运 用 向 量 
傅 里 叶 变 换 , 计算 得 到 系统 函数 为 

H(w) = (joI- A)-'B (9.7-7) 
其 中 了 I 是 单位 阵 。 此 外 ,也 可 用 卷 积 形式 表示 这 一 运算 为 

Y(t) = h(t) *¥(t) 
在 这 里 假设 多 通道 系统 是 稳定 的 ; 也 就 是 , 所 有 的 冲 激 响 应 lw 是 BIBO 稳定 的 。 接 下 来 的 求 
解 过 程 就 与 一 阶 方程 的 标量 求解 过 程 大 致 相同 ; 实际 上 , 可 以 证 明 
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h(t) = exp(At) Bult) (9.7-8) 
在 本 章 前 面部 分 对 一 个 连续 时 间 马 尔 可 夫 链 的 概率 向 量 的 求解 过 程 中 曾 遇 到 过 和 矩阵 指数 函数 
exp(41) 。 这 个 函数 被 广泛 应 用 于 线性 系统 理论 , 在 参考 文献 [9-3 ] 中 已 详细 研究 过 其 性 质 。 
如 果 计 算 WSS 情况 下 的 互相 关 和 矩阵 ， 可 得 到 
Ryx(7) = exp(AT) Bul(7)*+ Rxx (7) 
和 
Rxy(7)= Rxx(7)* Biexp(—Air)u(—7) 
Ryy(7)=h(7)* Rxx(T)*hi(—r7) (9.7-9) 
做 向 量 傅 里 叶 变 换 , 则 有 
Syy (w)= (jwoI— A) 'BSxx (w)B'(-jwoI— Ai')-! (9.7-10) 
如 果 Rxx(7) = @5(r), 则 由 于 系统 五 假定 是 因果 的 , 也 就 是 , 当 t <0 时 , h(t) =0, 我 们 得 
到 当 7 <0 时 互相 关 和 矩 阵 BRyx(7) = 0; 也 就 是 当 r <0 时 BLY(t+7) 对 "(t)] = 0。 因 此 Y(t) 
的 过 去 值 与 对 (t) 的 当前 和 未 来 值 都 是 正 交 的 。 如 果 进 一 步 假 设 输入 过 程 卫 (1t) 是 一 个 高 斯 过 
程 , 那么 不 相关 变 为 独立 条 件 。 则 在 高 斯 假设 下 , 输出 了 (t) 与 圣 (t) 现在 和 未 来 独立 。 类 似 
的 结果 在 对 标量 情况 进行 分 析 时 已 经 得 到 。 可 以 利用 这 个 结果 证 明 , 一 阶 向 量 LCCDE 的 类 是 
一 个 具有 如 下 定义 的 向 量 马 尔 可 夫 随 机 过 程 。 
定义 9.7-1 (向 量 马 尔 可 夫 ) 随 机 过 程 了 (1) 是 一 个 马尔 可 夫 过 程 ,只 要 满足 对 所 有 nn > 0 
和 页 > 页 >… > 以 及 所 有 Y(ti1),…,Y( 刀 ) 的 值 , 有 
PIY(tn) < ynly tn) ,Y(t1)] = PIY (tn) < ynly(tn-1)] 
对 所 有 实数 向 量 Y, 成 立 。 这 里 入 < a 的 含义 是 
(A CnrAn=i An < a1) 
在 讨论 向 量 微分 方程 之 前 , 我 们 先 简 要 回顾 一 下 确定 性 向 量 LCCDE 系统 的 一 个 结论 。 一 阶 向 
量 方程 为 
y(t) = Ay(t) + Bx(t), t=to 
给 定 初始 条 件 y(t)，, 利用 矩阵 指数 可 以 证 明 
Y(t) = exp[A(t — to0)]y(to)+ | h(t — wv)x(v)dv, t 宇 to 


这 样 推广 了 标量 情况 。 在 线性 系统 理论 中 可 以 找到 这 种 确定 性 的 解 , 例如 参考 文献 [9-3] 。 第 
一 项 称 为 零 输 入 解 ， 第 二 项 称 为 零 状 态 ( 或 驱动 ) 解 , 解 类 似 于 标量 LCCDE。 

我 们 可 以 将 这 个 理论 扩展 到 随机 情况 ,只 需要 在 半 无 限 域 如 < t < % 考虑 微分 方程 (9.7-6)， 
并 用 下 面 随机 解 蔡 换 确定 性 解 即 可 


FUO = exp[AG = to)]Y (0) + | nt-oXods (9.7-11) 


如 果 LCCDE 是 BIBO 平稳 的 , 也 就 是 , 4 的 特征 值 的 实 部 都 为 负数 , 则 当 一- % 时 ， 
我 们 得 到 了 对 于 所 有 时 刻 的 解 为 


YO = 上 h(t —v)X(v)dv = h(t)* 有 ££(t) (9.7-12) 
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这 与 我 们 已 在 平稳 的 无 限时 间 域 内 推导 出 的 结论 相同 。 实 际 上 , 利用 系统 的 稳定 性 就 可 以 得 
出 在 任何 有 限 的 时 间 内 这 个 解 的 零 输 入 部 分 一 定 是 零 。 

下 面 的 定理 将 证 明 用 上 述 方法 生成 一 个 向 量 高 斯 -马尔 可 夫 随 机 过 程 的 方法 。 现 在 输入 是 
白 高 斯 向 量 过 程 殉 (t) , 输出 向 量 是 马尔 可 夫 过 程 , 用 六 (1) 表 示 。 

定理 9.7-1 设 状态 方程 为 

KX(t) = AX(t) + BW(t) 

输入 为 白 高 斯 过 程 本 (1 站 ) ， 则 输出 四 ( 旭 为 一 个 向 量 高 斯 -马尔 可 夫 随 机 过 程 。 

证 明 用 1 时 刻 的 解 表 示 t 时 刻 的 解 ， 即 


tn 
(tn) = exp[4(tn 一 如 -1)] 吾 (tn-1) 二 | h(t, —v) W(v)dv 
tn—1 


然后 将 积分 表示 为 I(t, ), 注意 它 与 及 (t,1) 是 独立 的 。 于 是 可 以 推出 
PIX(tn) < xnlx(tn_1),:.. ,x(t1)] 

= PII(tn) < xn — eA lr tn x(tn 1) x(tn_ 1),... ,x(t1)] 

= PM) < — em ne(tn a) l(t 
因此 及 (1) 是 一 个 向 量 蕊 尔 可 夫 过 程 。 

如 果 在 定理 9.7-1 没有 对 输入 WW(t) 做 高 斯 假设 , 而 只 是 白 噪声 ， 则 得 不 到 输出 是 马尔 可 

夫 的 结论 。 因 为 没有 在 证 明 中 用 到 独立 性 条 件 , 而 只 有 较 弱 的 不 相关 条 件 。 男 一 方面 , 如 果 放 
松 高 斯 条 件 的 约束 而 要 求 输入 王 ( 妨 是 一 个 独立 的 随机 过 程 , 那么 过 程 肝 (1) 仍 然 是 马尔 可 夫 
的 , 但 不 是 高 斯 -马尔 可 夫 的 。 我 们 在 这 个 定理 中 用 互 而 不 是 了 是 强调 LCCDE 通常 是 用 来 对 
输入 过 程 建 模 的 。 


小 结 


在 这 一 章 中 介绍 了 随机 过 程 的 概念 , 它 是 一 个 含 连续 参数 的 函数 集合 。 参 数 一 般 是 时 间 ， 
但 也 可 以 是 位 置 或 另 一 个 连续 的 变量 。 本 章 的 大 部 分 内 容 讨 论 的 是 扩展 到 二 维和 三 维 参数 。 
事实 上 , 许多 现代 的 应 用 需要 一 个 二 维 参数 , 例如 ,图像 的 灰 度 函数 认 t，)。 这 些 随机 函数 
被 称 为 随机 场 , 可 以 利用 本 章 方法 的 扩展 来 进行 分 析 。 随 机 场 在 参考 文献 19-5 ] 和 参考 文献 
[9-8] 的 第 7 章 和 许多 其 他 地 方 都 有 讨论 。 

我 们 介绍 了 一 些 重 要 的 过 程 : 异步 二 进 制 信号 , 泊 松 计数 过 程 , 随机 电报 信号 和 相 移 键 
控 , 它们 是 数字 通信 的 基础 ; 维 纳 过 程 , 第 一 个 高 斯 随机 过 程 的 例子 , 是 非 线性 滤波 理论 的 基 
本 构建 模块 ; 马尔 可 夫 过 程 , 由 于 它 的 有 效 性 和 易于 处 理 使 其 得 到 了 广泛 的 应 用 , 是 网 上 第 11 章 
中 卡尔 曼 - 布 西 滤波 器 中 采用 的 信和 号 模型 。 

考虑 了 线性 系统 对 随机 过 程 的 二 阶 特性 的 影响 。 我 们 将 结果 运用 于 平稳 和 WSS 过 程 , 介 
绍 了 功率 谱 密 度 和 LSI 系统 的 对 应 分 析 。 我 们 还 简要 地 考虑 了 广义 周期 和 循环 平稳 过 程 , 引 
入 了 随机 向 量 过 程 和 系统 并 将 马尔 可 夫 模 型 扩展 应 用 到 了 其 中 。 


习题 


〈( 带 * 号 的 习题 有 一 定 的 难度 , 需要 花费 更 多 精力 对 教材 进一步 的 学 习 。) 
9.1 设 喷 2] 是 实 平 稳 随 机 序列 , 均值 BX[n]| =jx, 自 相 关 函 数 EIX[Ln+m]X[Ln]| =Rxx[m]。 如 果 
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9.2 


9.3 


9.4 
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X[n] 是 一 个 D/A 转换 器 的 输入 , 则 其 连续 时 间 输 出 信号 可 被 理想 化 为 模拟 随机 过 程 X, (1) 
Xalt) 三 X[m]， nn 碾 t<n+l1 ,对 所 有 
如 图 P9.1 所 示 。 





下 二 4 5 6 7 8 9 
图 P9.1 采样 -保持 D/A 转换 器 的 典型 输出 


(a) 求 均值 LX,(t) ] =p(t) ,表示 为 x 的 函数 。 
(b) 求 相关 函数 E[X, (ti)X(ts)] =Rxx, (ti, 在 )， 用 RRxyLm] 表 示 。 
考虑 一 个 WSS 随机 序列 XX[n], 均值 wx 为 常数 ， 自 相关 函数 为 Rxx [Lm] , 构造 一 个 随机 过 程 





十 ca > 
A -Sinn(t — nT)/T 
六 (t) 三 和 XIn] ET co <t<+to0 


接 下 来 , 假设 无 限 和 是 收敛 的 , 无 须 担 心 统 计 收敛 问题 。 

(a) 求 均值 x(t), 用 jx 表示 , 尽 可 能 地 简化 结论 。 

(b) 求 相关 函数 Rxx( 刀 , 三), 用 RxxL mj] 表示 。 了 X(t) 是 否 广 义 平稳 ? 

提示 : 线性 系统 的 采样 原理 表明 任意 带宽 有 限 的 确定 函数 g(t) 可 由 其 均匀 的 空间 样本 完全 恢复 出 
来 , 即 


As sinmn(t — nT)/T 
g(t) = > gD T/T 


只 要 函数 g(t 的 带宽 小 于 或 等 于 mr/T。 
令 B[n] 是 一 个 伯 努 利 随机 序列 , 等 可 能 取 +1。 然后 定义 一 个 随机 过 程 了 (1t) AVpsin(2mf,t +B[n]3) 


nT<t<(n+1)7T, 对 所 有 n, 其 中 Vp 和 所 是 实数 。 

(a) 求 均值 函数 。 
(b) 求 协 方差 函数 。 
Y(t) 是 如 图 P9.4 所 示 的 节拍 延迟 线 滤波 器 的 输出 信号 , 输 ”x(t) 
入 为 X(t) ，N 为 节拍 数 

太一 1 

Y(t)= >》 4nXLt 一 nr) 

n=0 
输入 X(t) 是 一 个 平稳 高 斯 随机 过 程 , 均值 为 0, 自 相关 函数 
为 Rw(7), 且 具 有 性 质 Rxx (nT) =0 对 所 有 m0 的 整数 都 





成 立 。 节 拍 增益 A,(n =0.1, …, N -1) 也 是 零 均 值 、 不 相 图 P9.4 节拍 延迟 线 滤波 器 
关 的 高 斯 随机 变量 , 方差 为 ca 。 每 个 节拍 增益 都 与 输入 过 

程 了 X(t) 独 立 。 

(a) 求 了 Y(t) 的 自 相 关 函 数 。 


(b) 对 一 个 给 定 值 t, 求 Y(t) 的 特征 函数 。 解 释 具 体 的 过 程 。 
(c) 对 固定 时 刻 t, 求 当 N_%w 时 ， -PC 的 渐进 pdf, 请 解释 。 


9.5 


"9.6 


9.7 


“9.8 
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(d) 假 设 节 拍 数 入 是 一 个 泊 松 随机 变量 , 均值 为 A( >0), 再 求 (a) 和 (b)。 
(注意 : 可 能 需要 公式 e 一 ~ 下- 二 ， 对 所 有 lzl <1 和 e = 于” 本,，) 


n=0 nl 
设 N(t) 是 一 个 定义 在 0<t<% 上 的 泊 松 随机 过 程 , N(0) =0, 平均 到 达 率 入 >0。 
(a) 求 联合 概率 PLN(ti) =ni, N(t) =ns], 其 中 tt >ti。 
(b) 求 K 阶 联合 PMF 的 表达 式 
B Py (nn: myetis ss tx) 
其 中 0<ti < <… <tx <%，, 注意 考虑 n,,…, nx 的 有 关 值 。 
一 个 在 t=0 上 的 非 均 匀 泊 松 计数 过 程 N(t) 定 义 如 下 : 
(a)N(0) =0。 
(b)N(t) 具 有 独立 增 量 。 
《c) 对 所 有 刀 三 志 


人 fo 


PI[IN(t2) — N(t1) = 7n] = ! exp ( | old) ， n 宇 0 


! 
nl! dss 





函数 和 A(t) 被 称 为 强度 函数 , 并 且 对 所 有 t 有 入 (t) 0, 即 始终 非 负 。 
(a) 求 这 个 非 均匀 分 布 的 泊 松 过 程 的 均值 ww(t)。 
(b) 求 NGCt) 的 相关 函数 玉 ww( 记 ,所 )。 定 义 时 间 轴 的 一 个 变换 如 下 : 


t 
人 
未 (站 二 | A(v)dv 
对 所 有 0, 如果 和 A(v) >0, 则 z(t) 是 单调 递增 的 , 因此 我 们 可 以 定义 逆 映 射 +(7), 如 图 P9.6 所 示 。 
(c) 对 所 有 :假设 A(t) >0, 定义 计数 过 程 
Nu(r) SN(t(7)) 


证 明 和 N,(7) 是 一 个 均匀 泊 松 计数 过 程 , 其 率 参 数 和 A =1; 即 证 
明 对 7+ 宇 0: 
(1)N,(0) =0。 





(2)N,(7) 有 独立 增 量 。 
(3) 对 所 有 7 三 Ti 图 P9.6 7 随 上 的 变化 图 
PIN,(72) - Nu(ri) =n] = ea, 元 法 站 
一 个 非 均 匀 泊 松 过 程 N(t) 具 有 强度 函数 (平均 到 达 率 ) 


A(t) =1+2t 
对 所 有 t 二 0, 初始 值 N(0) =0。 
(a) 求 均值 函数 jw(1)。 
(b) 求 相关 函数 Rvw (ti, 三)。 
(c) 求 NG) = 的 概率 表达 式 ， 即 对 任意 上 >0, 求 PLN(t) 二 it]。 
(d) 求 (c) 用 错误 函数 erf(z) 表 示 的 近似 解 。 
这 个 问题 关注 的 是 9.2 节 中 给 出 的 有 关 泊 松 计数 过 程 的 构建 。 
(a) 证 明 第 nw 个 到 达 时 间 TLnj] 的 密度 为 
fr(t:n) = re ut) n>0 
在 泊 松 过 程 的 增 量 是 泊 松 分 布 性 质 的 推导 过 程 中 , 即 


Pe n 
PIX(ta) X(tw) = 二 -= 各 ee tuln], ta> 
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我 们 隐 含 地 利用 了 这 样 一 个 事实 , 在 (t,ts] 上 第 一 个 到 达 时 距 是 服从 指数 分 布 的 。 实 际 上 , 这 一 事 
实 并 不 清晰 , 因为 问题 中 提 到 的 到 达 时 距 只 是 部 分 在 区 间 (t, t,], 图 P9.8 显示 了 一 个 示意 图 。 定 
义 7'[ 纪 AT[ 纪 - 刀 为 部 分 到 达 时 距 , 我 们 注意 到 7'[ 订 =7L 宁 -7, 其 中 随机 变量 TAt -7Li-1]， 
7[ 纪 表示 了 到 达 时 距 。 





T[] 
Se 
Ti-1 tp ta 
OQ 
Ty 


图 P9.8 在 任意 观测 间隔 内 到 达 时 间 的 关系 图 解 


(b) 固定 随机 变量 T=t, 求 CDF': 
Frii(rT =t) = P{TH] < T+tIr0] > 
(c) 将 (b) 中 条 件 修 改 成 设 了 为 随机 变量 , 求 7' 的 无 条 件 CDF( 提示 : 这 部 分 的 内 容 不 需要 很 多 的 
计算 )。 
由 于 前 面 提 到 的 性 质 , 指数 分 布 被 称 为 无 记忆 的 。 它 是 唯一 具有 这 个 性 质 的 连续 分 布 。 
设 N(t) 为 [0, %w ) 上 一 个 计数 过 程 , 其 平均 率 参数 A(t) 依赖 于 男 一 个 正 随机 过 程 8S(ti) ， 特 殊 情 况 为 
A(t) = S(t)。 假设 给 定 1S(t) 在 [0, om ) 上 上 的 (bb 为 非 均匀 泊 松 过 程 。 已 知 ws (ti =A >0 和 
Kb 
(a) 求 t=0 的 jww(t), 用 jw 表示 。 
(b) 求 t=0 的 oh(t), 用 Kss (ti, 如 ) 表 示 。 
设 随 机 过 程 K(t) 依 赖 于 一 个 平均 到 达 率 为 入 >0 的 均匀 泊 松 过 程 N(t), 可 描述 为 : 在 t=0 时 刻 起 
始 , N(t) =0 且 K(t) =0。 当 一 个 到 达 在 和 N( 纪 发 生 , 一 个 独立 的 伯 努 利 试验 以 成 功 概率 2 发 生 , 其 中 
0 <p <1。 如 果 成 功 , K(t) 加 1, 否则 K(t) 不 变化 。 具 体 的 过 程 参见 图 P9. 11。 求 离散 随机 过 程 K(t) 在 
时 刻 t 的 一 阶 PMF, 即 t=0 的 Pxr(k; 1)。 
设 图 像 的 扫描 线 可 由 空间 随机 过 程 S(x) 描 述 , 用 S(x) 对 点 x 处 的 理想 灰 度 级 建 模 。 通 过 调整 光源 
的 强度 , 用 光 通 道 独立 地 发 射 每 个 点 
A(t, 1) 一 S(zZ) 十 No, 0<t<T 
用 这 种 方法 , 我 们 得 到 了 一 簇 随机 过 程 ， 由 连续 参数 x 索引 
{N(t, 2)} 
对 每 个 x, N(t, wx) 在 给 定 S(z) 时 是 均匀 泊 松 过 程 (参见 图 P9. 11)。 在 观察 结束 时 , 存储 N(x) 全 
N(T, Xx) , 求 这 个 空间 过 程 的 统计 特性 。 


伯 努 利 试验 
产生 器 





图 P9.11 泊 松 调制 的 伯 努 利 试验 过 程 
总 结 如 下 : N(x) 是 一 个 整数 值 的 空间 随机 过 程 , 它 依 赖 于 另 一 个 被 称 为 信号 过 程 的 随机 过 程 SCZ) 
的 值 。 这 个 空间 随机 过 程 S(z) 是 零 均 值 的 平稳 过 程 , 协 方差 函数 为 
Kss(7) = 0$ exp(—alz|) 
其 中 a >0。N(x) 在 给 定 S(x) =s(x) 的 条 件 分 布 为 泊 松 分 布 , 均值 为 A(xX) = (s(x) +Ao)7, 其 中 
Ao 为 正常 数 ， 即 
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P[LN(z) = n|S(z) = s(z)] 2 


nl! 








随机 变量 N(x) 从 点 到 点 是 条 件 独 立 的 。 
(a) 求 (无 条 件 的 ) 均 值 和 方差 
LN(z)=EIN(z) 和 EE [von 二 nnw(z))"| 
(提示 : 首先 求 出 条 件 均值 和 条 件 均 方 值 。) 
(b) 求 Rynv(Yi, wa) AE[LN(%, )N( Zz, ) Ts 
设 卫 (1) 为 定义 在 t=0 上 的 随机 电报 信号 (RTS) 。 固 定 X(0) = +1 。RTS 用 一 个 泊 松 随机 到 达 时 间 
序列 TLn] 在 + 间 切 换 站 (t) 的 值 。 设 平均 到 达 率 为 A( 大 于 0), 则 有 


1 0<t<TI] 
A -1l, Tl]<t< 人 TA 
“1th 7T 问 二 tt<T 间 


X(t) 
(a) 证 明 X(t) 为 一 个 马尔 可 夫 过 程 , 画 出 其 状态 转移 图 。 
(b) 求 了 (1) = +1 的 稳 态 概率 , 即 Px(1; o ), 用 率 参数 和 来 表示 。 
(c) 求 状态 概率 Px(1; t) 和 Px( -1; 4) 的 微分 方程 。 
一 个 率 参数 为 (大 于 0) 的 均匀 泊 松 过 程 N(t) 为 一 个 无 限 状 态 的 马尔 可 夫 链 ,其 状态 转移 图 如 
图 P9.13(a) 所 示 。 其 中 状态 标签 就 是 过 程 N(t) 的 值 。 而 且 独 立 的 到 达 时 间 7rLn] 是 服从 参数 为 A 的 


A A A A 


图 P9.13(a) 用 马尔 可 夫 链 表示 的 泊 松 过 程 


我 们 对 上 面 的 情景 做 以 下 改动 。 用 任意 非 负 的 、 平 稳 的 、 独 立 的 随机 序列 取代 独立 的 到 达 时 距 7[n]， 
仍 用 r[%] 表 示 , 生成 了 一 个 通常 称 为 更 新 过 程 的 随机 过 程 , 如 图 P9.13(b) 所 示 。 
T[1] T[2] T[3] 





图 P9.13(b) 更 一 般 的 (更 新 ) 过 程 链 


(a) 证 明 更 新 过 程 的 PMF Py(n; t) =PLN(t) =n] 可 用 到 达 时 间 的 CDF F(t; n) 表 示 为 
Pnw(n;t) = Fr(t;n) — Fr(t;n + 1), n 三 1 


其 中 到 达 时 间 7[m] = 已,7[k] ,Fr(t; n) 为 到 达 时 间 TLn] 的 CDF。 

(b) 设 7[n] 服 从 分 布 0[0, 1], 即 在 [0, 1] 上 服从 均匀 分 布 , 求 这 个 特殊 的 更 新 过 程 在 n=0, 1 和 2 
时 刻 的 Py(n; t)。 

(c) 求 到 达 时 间 序列 7[n] 的 特征 函数 。 

(d) 求 (b) 中 更 新 过 程 的 CDF Fr(t; n) 近似 表达 式 , n 越 大, 表达 式 越 精确 , 且 与 7[m%] 均 值 差距 越 
小 (提示 : 当 z 较 小 时 , 有 sinx = x - 好/31 成 立 ) 。 

令 W(t) 为 定义 在 [0，w ) 上 的 维 纳 过 程 [ 即 上 时 刻 的 分 布 为 N(0, t)]。 求 联合 密度 f(a ,a3; 41, 43)， 


对 和 近 下 次 敌 


“9. 16 


9. 19 
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设 琴 ( 罗 和 W(t) 是 两 个 维 纳 过 程 , 相互 独立 , 都 定义 在 上 =0 上, 方差 参数 分 别 为 qa, 和 as 。 设 过 程 
X(t) 定 义 为 其 代数 差 晴 数 , 即 X(t) A W(t) - W(t)。 
(a) 求 当 , 刀 宇 0 时 Ry(b, 如 )。 
(b) 求 当 t 大 0 时 X(t) 的 pdffy(x; 1)。 
设 随 机 过 程 (t) 具 有 均值 函数 jwx(t) =4, 协 方差 函数 Kxx (ti ,6) = 5 [min(ti ,6)]”。 设 导数 过 程 
记 为 Y(t) = X'(t) ,t=0。 
(a) 求 了 Y(t) 的 均值 函数 。 
(b) 求 相关 函数 Ryy(4 ,t, ) 。 
(Cc) 导数 过 程 Y(t) 是否 为 广义 平稳 的 ? 
(d) 证 明 过 程 匀 (+) 可 对 标准 维 纳 过 程 构建 。 
设 W(t) 是 一 个 标准 维 纳 过 程 , 即 a = 1, 定义 
X(t) S W204), t=0 
(a) 求 概率 密度 fy (x; 1) 。 
(b) 求 条 件 概率 密度 fx(xz 1 zi; ,机 ),t > 
(c)X(t) 是 马尔 可 夫 过 程 吗 ?为 什么 ? 
(d)X(t) 是 否 具有 独立 增 量 ? 请 证 明 。 
设 X() 是 定义 在 [0, w ) 上 的 马尔 可 夫 随 机 过 程 , 初始 概率 密度 f(x; 0) = 5(x -1), 条 件 pdf 为 
fx(z2|z1;t2,t1) = -Re 人 =) 对 于 所 有 t2 > 要 
(a) 求 f(z; 4) ,为 任意 值 。 
(b) 设 fy(x; 0) ~ N(0, 1), 求 fx(x, 4)。 
考虑 三 状态 马尔 可 夫 链 N(1), 其 状态 转移 图 如 图 P9. 19 所 Ni po 


示 。 其 中 状态 标签 都 是 实际 的 输出 , 例如 当 链 处 在 状态 3 
时 , 即 N(t) =3。 状 态 之 间 的 转移 都 是 联合 独立 且 服 从 指数 
分 布 的 到 达 时 距 所 控制 , 其 平均 速率 在 图 中 分 校 上 显示 。 


(a) 假 设 t=0 时 刻 从 状态 2 起 始 , 求 对 任意 1>0 满足 直到 ge 
t 时 刻 仍 处 在 这 个 状态 的 概率 为 多 少 ( 提示: 有 两 种 方 P9.19 一 个 三 状态 连续 
法 可 离开 状态 2。 因 此 你 必须 有 比 两 个 独立 的 指数 随机 时 间 马 尔 可 夫 链 
变量 更 少 的 时 间 离 开 状 态 2, 这 两 个 指数 随机 变量 的 率 参数 分 别 为 J。 和 As ) 。 

(b) 写 出 求 t 宇 0 时 刻 处 在 状态 i 的 概率 的 微分 方程 , 表示 为 p;(t) ,i=1, 2, 3[ 提 示 : 首先 写 出 用 
pi(t) 表示 的 pi(t + 6t) ,i=1, 2, 3, 仅 保留 0(6t) 项 ]。 

(c) 求 p;(1t) 当 i=1, 2, 3 时 的 稳 态 解 , 即 p;( % )。 

设 某 无 线 通信 二 进 制 信道 处 于 好 的 或 坏 的 状态 可 用 图 P9. 20 中 描述 的 具有 某 转移 率 的 连续 时 间 马 尔 可 夫 

链 来 描述 。 假 定 呈 指数 分 布 状态 转移 率 的 率 参数 为 M，= 1, A。= 9 每 一 种 状态 s 的 值 在 (b) 中 给 定 。 

(a) 求 信道 处 于 好 的 状态 的 稳 态 概率 。 设 PIX(t) = good| = po, PIX(D) = bad| = psa (提示 : 假设 
稳 态 存在 , 然后 根据 : - 5 时 刻 的 两 种 可 能 性 写 出 上 时 刻 的 pe, 只 保留 一 阶 5, 设 8 很 小 ) 。 

(b) 假设 处 在 好 的 状态 时 , 二进制 信道 中 无 错误 , 但 处 在 坏 的 状态 时 错误 概率 e = 0. 01 , 求 信道 的 平 
均 错 误 概率 (假设 信道 在 每 个 单字 节 传输 过 程 中 不 会 发 生 状 态 改变 ) 。 
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图 P9.20 两 状态 无 线 通信 信道 的 模型 
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这 个 问题 关注 对 具有 连续 振幅 的 马尔 可 夫 过 程 了 (1) 的 查 普 曼 - 科 尔 莫 戈 罗 夫 方程 [参见 式 (9. 2-22) ] 对 
于 三 个 增加 的 观测 时 刻 > 刀 > 加 > 0 的 条 件 pdf 为 


十 oo 
fx(z(t3)|z(t1)) = | fx (z(ta)|z(t2))fx (z(t2)|z(t1)) dr(t2) 


你 将 证 明 协 方差 函数 为 Kxx(t, s) = amin(t, s) (a > 0) 的 维 纳 过 程 , 解 以 上 方程 。 

(a) 求 1>0 时 这 个 维 纳 过 程 的 一 阶 pdf fy (x(t) ) 。 

(b) 求 1>s >0 时 一 阶 条 件 pdf fx(x(t) | x(s))。 

(c) 参 考查 普 曼 - 科 尔 莫 戈 罗 夫 方 程 , 设 t -t= 三 一 而 = 6, 用 Xs, Xs, Xi 表示 对 应 时 刻 的 值 。 然 后 
证 明 (b) 中 的 条 件 pdf 满足 以 下 方程 : 


十 oo 
Jx(zs|zi) = | fx (ralr2)fx (Tr2lT1) dr2 


例 9.3-2 中 的 随机 过 程 (t) 是 否 平稳 ? 为 什么 ? 
设 4 和 B 为 独立 同 分 布 的 随机 变量 , 均值 为 0, 方差 为 o”, 三 阶 和 矩 ms 4 E[4*] = ELB ] 关 0, 考虑 
以 下 随机 过 程 

X(t) = Acos(27ft) + Bsin(27f+), —00 <t<+o0 
其 中 ,为 一 给 定 频率 。 
(a) 证 明 随机 过 程 了 X(t) 是 WSS。 
(b) 证 明 X(b) 不 是 严 平 稳 。 
前 面 我 们 证 明定 理 9.3-2, 推导 了 式 (9.3-5) 。 描 述 和 证 明 协 方差 函数 的 对 应 定理 。 并 不 假定 wx( 切 = 0。 
假定 x(t) 为 平稳 随机 过 程 , 均值 为 wy, 协 方差 为 kxx(7) =5(r)。 假 定 zZ(t) 的 样本 函数 驱动 以 下 微 
分 方程 : 

Y(t) +aY(t) =X(t), a>0, -~%m <t<+% 

(a) 求 jv(t) =ELY(t)]。 
(b) 求 Ryy(7T)。 
(c) 求 or(t)。 
在 习题 9. 1 中 由 D/A 转换 器 产生 的 随机 过 程 立 (t) 是 WSS 吗 ? 
随机 过 程 的 功率 谱 为 Sxx(w) =1X(w +9)，-% <w< +%m，, 求 它 的 自 相关 函数 Rxx (7)。 
考虑 如 图 P9. 28 所 示 一 个 LSI 系统 , 其 输入 为 零 均值 
随机 过 程 W(t) , 输出 为 随机 过 程 邓 (t+) 。 系 统 的 频率 WD X(0 
响应 为 囊 (w)。 给 定 Kww(7) = 6(7)，, 求 用 互 协 方差 


A 示 H 
函数 Kxw(7) 或 其 傅 里 叶 变换 表示 五 (w) 图 P9.28 “ 白 噪 声 输入 下 的 LSI 系统 





假定 随机 过 程 Y(t) 由 下 式 给 出 : 
Y(t) =X(1) +0.3 SD, 汪 0 这 交 于 多 
其 中 耻 (t) 是 随机 过 程 , 其 均 质 函数 为 wx(t) =5t 和 协 方 差 函 数 为 
Ker(h, h) = rae Ey > 


(a) 求 均值 函数 jy(1)。 
(b) 求 协 方差 函数 Kyy(ti，, ts)。 
(a) Y(t) 是 WSS 吗 ? 为 什么 ? 
考虑 一 阶 随机 微分 方程 
dx 
dt 
由 零 均值 、 自 相关 函数 为 Rww(t, s) = 6(t -ss) 的 白 噪声 W(t) 驱动 。 


+ X(t) = W(t) 
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(a) 如 果 微 分 方程 对 所 有 时 间 - wm < + < mm 都 有 效 , 求 输出 的 广义 平稳 随机 过 程 () 的 psd。 

(b) 用 留 数 定理 (或 其 他 方法 ) 求 Sxx(w) 的 伟 里 叶 逆 变换 , 即 自 相关 丽 数 Rer(r)，- m <7 < mm。 

(c) 如 果 以 上 微分 方程 只 对 上 >0 成 立 , 是 否 可 以 找到 一 个 初始 条 件 随机 变量 邓 (0) 使 得 了 站 (1t) 对 所 有 
4 >0 者 为 广义 平稳 的 ? 如 果 这 样 一 个 随机 变量 存在 , 求 其 均值 和 方差 。 你 可 以 假设 这 个 随机 变量 
(0) 与 W(t) 在 t=0 时 正 交 , 即 X(0) 1 W(t) [提示 : t>0 时 的 耻 (t) 可 以 根据 初始 条 件 和 含有 
W( 1) 的 随机 积分 来 表示 ] 。 

证 明 h(7) *h"( -7) 是 半 正 交 函 数 。 假 定 函 数 h(t) 是 平方 可 积 函数 , 即 | 1 h()il?dt < m。 

设 随机 过 程 X(1) ,均值 为 128, 协 方差 函数 

Kxx(7T) = l000exp(—10171) 
用 一 个 低 通 滤波 器 滤波 


1 


HC) = + jw 





产生 输出 过 程 当 Y(t)。 

(a) 求 均值 函数 jy(1) 。 

(b) 求 协 方差 函数 Kyy(7) 。 

考虑 连续 时 间 系 统 , 输入 随机 过 程 为 X(t) , 输出 过 程 为 Y(t) 


42 
yl = | XE s)ds 
4 JJ 


假设 输入 X(t) 是 WSS, 功率 谱 密 度 Sxx(w) =2, -% <w<+%。 
(a) 求 输出 功率 谱 密度 Srr(w) 。 
(b) 求 输出 的 相关 函数 Ryy(7)。 
一 个 零 均值 的 WSS 随机 过 程 Y(t) 的 样本 函数 如 图 P9. 34 yD 
所 示 , 它 是 具有 随机 振幅 和 随机 持续 时 长 连续 的 矩形 
脉冲 。 
脉冲 宽度 的 概率 密度 为 
Xe=*w 0 


fw(w) = { 0， wz<0 


其 中 A >0。 每 个 脉冲 的 振幅 是 一 个 随机 变量 X( 与 W 独 

立 ) , 其 均值 为 0, 方差 为 xx。 各 振幅 和 脉 宽 是 独立 的 。 图 P9. 34 随机 振幅 脉冲 列 

(a) 求 自 相关 函数 Ryy(7) =B[Y(t+7)Y(t)]。 

(b) 求 对 应 的 功率 谱 密度 Sr(w) 。 

[提示 : 首先 求 出 条 件 自 相关 函数 BLY(t+7)Y(t)1W=w] ,其 中 假设 为 脉 串 的 起 始 (这 样 做 不 丢 
失 Y(t) WSS 假设 的 一 般 性 ) ] 。 

设 X( 引 为 WSS 随机 过 程 , 均值 为 wx, 协 方差 函数 为 Kxx(7) = 5cos(107)e“”。 过 程 X() 输 入 到 
一 线性 系统 ,系统 函数 为 


~ 


s+4 
人 这 ss: +1lls +30 
产生 输出 过 程 Y(t) 。 
(a) 首 先 , 求 输入 功率 谱 密度 Sxx(w)。 画 出 草图 。 
(b) 写 出 X(t) 在 w, <1 w1 < w, 频率 范围 内 的 平均 功率 的 表达 式 。 可 以 积分 形式 表示 。 
(c) 求 输出 功率 谱 密度 Syy(w) 。 画 出 草图 。 
在 本 题 中 我 们 考虑 用 白 噪 声 的 近似 (更 多 关于 白 噪 声 的 问题 参见 9. 5 节 ), 加 到 低 通 滤波 器 , 通过 对 
滤波 器 的 输出 过 程 的 分 析 来 考察 用 白 噪声 近似 带 来 的 误差 。 设 零 均 值 平稳 随机 过 程 了 (tt) 的 自 协 方差 
函数 为 
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1 
Kxx(7) = Ho exp(~Irl/7o) 


上 式 可 写 为 h(7) *h( -7) ,其 中 h(7) = 二 eau(7)。 
0 


(a) 设 了 X(t) 为 低 通 滤 波 器 的 输入 , 如 图 P9.36(a) 所 示 , 输出 为 Y(t)。 求 当 G(w) 为 下 式 所 示 时 , 输 
出 了 Y(t) 的 功率 谱 Sy(w) 
A [1, lol<owo 
Eee 从 其 他 
(b) 直接 用 零 均 值 的 标准 白 品 声 W(t) 作 为 系统 的 激励 , 白 噪声 的 协 方差 函数 为 Kyw(7) = 56(7)。 如 
图 P9.36(b) 所 示 , 输出 称 为 V(t), 求 输出 的 功率 谱 密 度 Syy(w)。 
(c) 证 明 对 于 lworol 之 1, Syy 二 Sv, 并 求 功率 差 值 |[Rw(0) -Ryy(0)1 的 上 限 。 


X(t, Y(t 


图 P9.36 (a) 对 白 噪声 的 近似 输入 到 滤波 器 图 P9.36 《〈b) 白 噪声 输入 到 滤波 器 


9.37 考虑 如 图 P9.37 所 示 的 LSI 系统 , 设 了 X(t) 和 N(t) 为 WSS, 上 且 不 相关 , 功率 谱 密度 分 别 为 Sxx(w) 和 
Sww(w) , 均值 为 0。 
(a) 求 输出 Y(t) 的 功率 谱 密度 。 N(D) 
(b) 求 了 和 了 的 互 谱 密 度 , 即 求 Syy(w) 和 Syx(w) 。 wa 
(Cc) 定义 误差 E(t) A Y(t) -X(t) ,计算 a(t) 的 功率 谱 (+) 
密度 。 
(d) 设 h(t) = a8(t), 选择 一 个 a 值 使 EB[é&(t)] = Rs(0) 图 P9.37 
最 小 。 
9.38” 设 随机 过 程 立 (t) 定 义 为 
X(t) SN cos(2rfot + ©) 
其 中 万 为 一 个 已 知 频率 , N 和 @ 是 独立 的 随机 变量 。 的 特征 函数 为 
dN(w) = EletioN] = exp{Ale'® — 1]} 
其 中 入 是 一 给 定 的 正常 数 ( 即 六 是 一 个 泊 松 随机 变量 ) 。 随 机 变量 8 在 [7n，+ 7] 间 均 匀 分 布 。 
(a) 确 定 均值 函数 j 儿 x(t)。 
(b) 确 定 协 方差 函数 Kx (t, 5)。 
(c)X(t) 是 否 为 WSS? 证 明 你 的 结论 。 
(d)X(t) 是 否 平稳 ? 证 明 你 的 结论 。 
9.39 ” 设 X(t) 为 定义 在 1 三 0 上 的 独立 增 量 过 程 , 初 值 为 X(0) =X 是 一 个 随机 变量 。 假 设 下 列 特征 函数 
存在 : 
Ele”®] A Bx (w) 和 BE[eio NH- Xs)] 全 Ox)_ xo(s)(w), t>s 
(a) 根 据 定义 ELe*””] A Bx (w)， 证明 
Dx () = Dxo (WDx()— xo lw) 
(b) 证 明 对 所 有 所 三 所 ,和 (二 ) 和 X(t) 的 联合 特征 函数 为 
xi N00) V201) = Dxo (1 + ODx 1) No (WL1 + Ww2) Dx (ta) X(t) (2) 
(c) 用 高 斯 特征 函数 将 (a) 的 结论 运用 到 习题 9.18(b) 中 。 
9.40 用 pdf 的 形式 来 表示 以 下 问题 的 答案 。 
(a) 阐述 一 个 独立 增 量 随机 过 程 的 定义 。 
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(b) 阐述 一 个 马尔 可 夫 随 机 过 程 的 定义 。 
(c) 证 明 任 意 具有 独立 增 量 的 随机 过 程 也 具有 马尔 可 夫 性 。 
9.41 设 X(t) 为 定义 在 t 三 0 上 的 随机 过 程 , 具有 独立 增 量 , 均值 为 x(t) = mm , 协 方差 函数 为 
Kxx(ti,t2) = o* (min(ti, t2)) 
其 中 ox(t) 为 一 个 递增 函数 , 即 对 所 有 上 = 0 有 dox(t)/dt > 0, 称 为 方差 函数 , 注意 Var[ X(t)] = 
o%(4) 。 给 定 T>0, 求 对 所 有 t 二 T, Y(t) AX(t) -X(T) 的 均值 和 协 方差 函数 (注意 : 求 协 方差 函数 
时 取 广 和 所 均 大 于 7)。 
“9.42 继续 例 9.2-3, 用 MATLAB 计算 一 个 a =2 和 了 = 0.01 的 维 纳 过 程 瑟 ( 的 1000 个 元 素 的 样本 函数 。 
(a) 用 MATLAB 程序 hist .m 来 计算 X(10) 的 直方 图 并 将 它 与 理想 的 高 斯 pdf 进行 比较 。 
(b) 用 mean.m 估 计 关 (10) 的 均值 ，std.m 估计 它 的 标准 差 , 并 与 理论 值 比较 [提示 : 在 一 个 for 循 
环 中 用 Wiener.mD 来 计算 x(1000) 的 100 个 现实 。 然 后 用 hist。 问 题 : 为 什么 不 能 只 用 向 量 
x 的 最 后 100 个 值 来 估计 来 近似 得 到 要 求 的 统计 特性 ] 。 
9.43 设 WSS 随机 过 程 X(t) 为 以 下 三 阶 微分 方程 的 输入 : 


下 六 d2Y dy 
df3 十 a2 dz 十 Ql df +aoY(t) = X(t) 





输出 为 WSS 随机 过 程 Y(1) 。 
(a) 将 这 个 方程 表示 为 以 下 的 一 阶 向 量 微分 方程 形式 : 
dy = AY(t) + BX(t) 
dt 
Y(t) 
x 00 PCD | (DDT, RA 
Y(t) 
(b) 求 用 输入 Rxx(7) 表示 Rxy(7) 的 一 阶 和 矩阵 微分 方程 。 
(c) 求 用 输入 Rxy(7) 表示 Ryy(7) 的 一 阶 矩 阵 微分 方程。 
(d) 用 矩阵 傅 里 叶 变 换 证 明 输 出 的 功率 谱 密度 矩阵 Syy 为 
Sor(w)= (joT- A)-!BSxx (%)B'(-jwI— Ai)-! 
9.44 设 书 (四 为 一 个 WSS 向量 随 机 过 程 , 输入 到 LSI 系统 ,系统 的 冲 激 响 应 矩阵 为 h(t) 。 
(a) 证 明 输出 区 六 的 相关 矩阵 为 式 (9.7-4) 。 
(b) 推 导 和 矩阵 协 方差 函数 的 对 应 方程。 
9.45 ”在 地 球 物理 学 信号 处 理 中 经 常 需要 仿真 一 个 多 通道 的 随机 过 程 。 接 下 来 的 问题 引出 了 一 个 关于 这 种 
向 量 随机 过 程 的 功率 谱 密 度 和 矩阵 的 重要 约束 。 设 入 维 向 量 随机 过 程 圣 (t) 为 WSS, 相关 矩阵 为 
Rxx(7) SE[X(t +7)¥i(t) 
功率 谱 密度 矩阵 为 
Sxx(w)s FT {Rxx (7)} 
FT| .上 定义 了 矩阵 傅 里 叶 变 换 , 即 Sxx 的 第 (i 站 个 元 素 是 由 Rxx 的 第 (i, 7) 个 元 素 ( 即 BLX,(t+ 
7) 下 "(+t)] ,其 中 X,(t) 为 X(1) 的 第 i 个 元 素 ) 傅 里 叶 变 换 得 到 的 。 
(a) 用 常数 a,，…, aw 定义 一 个 WSS 标量 过 程 


N 
Y(t) SD aXi(t) 
i=1 


求 Y(t) 的 功率 谱 密 度 , 用 矩阵 Sxx (w) 的 元 素来 表示 。 





DD wiener.m 在 本 书 的 网 站 上 提供 。 


9.46 


“9.47 


9.48 


9. 49 
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(b) 证 明 功 率 谱 密度 矩阵 Sxx(w) 对 各 确定 的 w 一 定 为 一 半 正 定 和 矩阵 ,， 即 对 所 有 复 列 向 量 a 一 定 有 
arSuar(w)a'* 三 0。 
考虑 图 P9. 46 所 示 线 性 系统 , 系统 由 两 零 均 值 、 正 交 、 联 合 WSS 的 “信号 ”X(t) 和 “噪声 "U(t) 激 励 ， 
则 系统 G 的 输入 为 
Y(t)= h(t)* X(t)+U(t) 
这 可 用 来 为 在 噪声 中 畸变 的 信号 估计 问题 建 模 。 如 果 将 这 个 “接收 的 信号 "Y( 1) 通过 滤波 器 G, 可 得 
到 估计 值 立 (t) , 则 a(t) 可 看 成 “估计 误差 ” 
E(t) = X(t) — X(t) 


LU 





图 P9.46 用 来 评估 估计 误差 的 系统 


在 本 题 中 我 们 将 计算 有 关 的 功率 谱 密度 以 及 互 谱 密 度 。 
(a) 求 Syy(w)。 
(b) 求 Sxs(w) = Sx(w)，, 用 囊 , G, Sxx 和 Sur 表示 。 
(Cc) 求 S,,(w)。 
(d) 将 你 的 答案 用 到 (c) 中 证 明 。 为 了 要 使 S,,(w) 在 
Sxx(w) >> Suv(w) 
对 应 的 那些 频率 处 最 小 , 必须 满足 G ~ HH" , 而 在 
Sxx(w) << Suv(w) 
所 对 应 的 那些 频率 处 , G = 0。 
设 了 X(t) 为 一 个 平稳 高 斯 随机 过 程 , 作为 图 P9.47 的 系统 输入 信号 。2Z(t) 的 功率 谱 密 度 由 试验 测 得 
25 
(wo2 + DB)(o2 + 1) 


X(t) X?(0) = YD) Z(t) 
平方 器 件 h(t) 


h(t)=e ‘u(t) 
图 P9.47 平方 非 线性 系统 后 接线 性 滤波 器 


(a) 求 Y(t) 的 相关 函数 , 用 B 表 示 。 
(b) 求 了 X(t) 的 相关 函数 。 
考虑 一 个 如 图 P9. 48 所 示 的 两 状态 马尔 可 夫 链 和 N(t) , 分 别 取 值 1 和 


2, 当 在 状态 1 时 ,要 转移 到 状态 2 需要 的 时 间 平 均 率 为 A = 1, 当 
在 状态 2 时 , 要 转移 到 状态 1 需要 的 时 间 平 均 率 为 A。= 2。 定义 状 
态 概 率 为 P(t) 和 P(t), 其 中 Pi(t) A PLN(t) = i],i=1,2。 

(a) 推 导 Pi(t) 的 微分 方程 。 

(b) 求 它们 的 稳 态 解 。 图 P9.48 两 状态 马尔 可 夫 
复 随 机 变量 的 施 瓦 茨 不 等 式 如 下 : 链 状 态 转 移 图 


Szz(w) 一 TO(w) 十 
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IE[XY"]| < VvV EIIX|?] ElIY|2] 
其 中 和 和 了 为 两 随机 变量 。 
(a) 用 施 瓦 茨 不 等 式 来 推导 联合 WSS 随机 过 程 立 (t) 和 Y(t) 的 对 应 结果 : 

IRxy(7T)| < VRxx(0) Ryy(0) 
(b) 求 互 功 率 谱 密度 的 对 应 结果 

ISxy(w)| < VSxx(w) Syy(w) 
提示 : 根据 互 功 率 谱 或 自 功率 谱 解 释 (a) 的 结果 。 然后 引入 一 个 中 心 频率 在 任意 w 处 的 罕 带 滤波 器 。 

维 纳 过 程 是 对 白 噪声 积分 的 结果 , 也 被 称 为 布朗 运动 。 设 B(t) 为 一 个 维 纳 过 程 ， W(t) 为 白 噪 声 , 可 
写成 


t 
B(t)= | 全 (7)d7， tt 三 0 
0 


设 W(t) 为 标准 白 噪 声 , 相关 函数 为 Ry(7) = 5(7)。 
(a) 求 互相 关 函 数 Rpw(t ,ts), 并 画 简 图 。 
(b) 求 自 相 关 函 数 Rss (三 ， 妃 ), 并 画 简 图 。 
考虑 例 9. 2-4 中 的 两 处 理 器 的 可 靠 性 问题 , 一 个 三 状态 连续 时 间 马 尔 可 夫 随 机 过 程 (1), 其 状态 转 
移 图 参见 图 P9.51。X(t) 表 示 在 时 刻 t 处理 器 “工作 ”的 个 数 。 
(a) 写 出 状态 概率 向 量 p(t) 的 微分 方程 
dp(t)/dt = Ap!(t) 
求生 成 矩阵 4 的 确切 值 。 
(b) 通 过 解 齐 次 矩阵 -向 量 方程 4p =0, 以 及 在 概率 向 量 p 中 所 有 概率 的 和 必须 为 1 的 约束 条 件 下 ， 
使 得 我 们 可 以 确定 稳 态 概率 向 量 p。 有 人 认为 “概率 流 "通过 图 P9. 51 中 虚 的 垂直 线 一 定 在 稳 态 
时 平衡 , 即 2upo =Api，, AUD; =2Aps，, 其 中 7p; 为 向 量 p 中 的 元 素 , 即 处 在 状态 i, i =0, 1, 2 的 稳 态 
概率 。 请 陈述 为 什么 这 是 一 个 合理 的 推断 , 并 通过 推导 得 到 的 方程 满足 Ap =0 来 证 明 它 。 
(c) 求 当 每 小 时 A =0.001、w =0.1 时 稳 态 概率 的 数值 解 。 
考虑 如 图 P9. 52 所 示 的 三 输入 、 两 输出 的 LSI 系统。 输入 为 随机 过 程 卫 (t)、X(t) 和 Li， 它们 是 
联合 广义 平稳 的 并 且 两 两 正 交 , 即 马 上 总 ,和 已 上 U, 碾 世 给 定 以 下 函数 : 系统 传递 函数 瓦 、G 和 B, 以 
及 三 输入 的 功率 谱 密 度 Sr m 、Suem 和 Surs 你 可 将 答案 用 这 三 个 函数 来 表示 。 


沁 4 


图 P9.51 图 P9. 52 


(a) 求 输入 /输出 互 功率 谱 密度 Syx (w) 。 
(b) 求 输入 /输出 互 功率 谱 密 度 Syox, (w) 。 

(c) 求 输入 /输出 互 功率 谱 密度 Srm (wo) 。 

考虑 下 面 的 节拍 延迟 线 问题 。 假 设 有 一 表征 节拍 的 随机 序列 A,, 和 一 个 WSS 随机 过 程 了 (1) 来 作为 信 
号 模型 。 假 设 节拍 的 总 数 为 N, 节拍 的 间隔 为 7。 再 假设 随机 序列 A,, 和 随机 过 程 (t) 是 相互 独立 
的 。 节 拍 延迟 线 的 输出 为 


六 (1) 





9.55 


9. 56 


9.57 
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N-1 
三 3 AnX(t—nT) 


n=0 
随机 序列 4, 的 相关 函数 为 RB(n,, ns) ,WSS 随机 过 程 的 相关 函数 为 Rx (7) 。 
(a) 求 输出 相关 函数 R,(t, 刀 ), 用 给 定 函 数 和 参数 来 表示 。 
(b) Y(t) 的 广义 平稳 性 是 否 依 赖 于 随机 序列 4, 也 是 广义 平稳 过 程 ? 证 明 你 的 结论 。 
(c) 在 求解 (a) 的 过 程 中 , 是 否 只 要 给 定 A,, 和 X(t) 不 相关 的 条 件 就 够 了 , 为 什么 ? 
设 某 无 线 包 信道 (吉尔 伯 特 信道 模型 ) 有 “好 ”和 “ 坏 ” 两 


A 
种 状态 , 可 用 连续 时 间 、 两 状态 的 马尔 可 夫 链 来 建 模 ， 
其 状态 转移 图 如 图 P9. 54 所 示 。 
(a) 求 处 于 * 坏 "状态 的 稳 态 概率 。 好 的 
(b) 处 于 * 好 ”状态 时 ,所 有 的 数据 包 都 被 接收 。 处 于 
“ 坏 ” 状 态 时 ,所 有 的 数据 包 都 被 丢失 。 这 会 导致 丢 “BG 


失 一 串 数据 包 。 在 一 串 数据 包 丢 失 时 ,所 有 的 数据 i , 
包 都 丢失 。 丢 失 的 一 串 数据 包 的 平均 长 度 为 多 少 ? 人 
证 明 它 。 注 意 在 丢失 的 一 串 数 据 包 中 , 所 有 数据 包 都 处 于 “ 坏 ” 状 态 。 
考虑 一 个 平均 到 达 率 A =3 的 泊 松 随机 过 程 Nb 。 
(a) 求 N(4) =2 的 概率 。 
(b) 求 N(1) =1 和 NN(2) =2 的 联合 概率 。 
考虑 如 图 P9. 56 所 示 系 统 
VIn] 


X[n] Yln] 
9 


图 P9.56 


设 X[n] 和 V[mn] 为 WSS, 且 互 不 相关 , 均值 都 为 0, 功率 谱 密 度 分别 为 Sx (w) 和 Syy(w)。 
(a) 求 输出 了 [n] 的 功率 谱 密 度 。 
(b) 求 输入 X[n] 和 输出 Y[n] 的 互 谱 密 度 , 即 Syy(w) 。 
X(t) 和 Y(t) 为 两 零 均 值 随机 过 程 ,已 知 相关 系数 为 
E[X(t1)Y™*(t2)] 
“i tl]EIY (t2)|9] 
假设 平均 功率 [1X( 四 12] =B[1Y(t) 1*] AP 为 一 常数 。 将 增加 两 随机 噪声 UCt) 和 V( 划 ,它们 与 
X(t) 和 Y(t) 相 互 正 交 








pxy (t1, t2) 


X(t) EX(t) + Ut) 
Y(t) 人 EY()+Vt) 
其 中 避 和 VV 也 相互 正 交 , 且 均 值 为 0, 平均 功率 E[1U(t)1*] =E[1V(t)1*] Ae 为 常数 。 求 波浪 号 过 
程 的 相关 系数 函数 , 即 py * (ti, 刀 )， 用 原始 过 程 卫 和 了 的 相关 系数 来 表示 。 
考虑 如 图 P9. 58 所 示 系 统 。 两 个 输入 随机 序列 是 WSS, 其 各 自 的 功率 谱 密 度 为 
1 2o2 +8 

Sx ry (oz 十 3) (w2 + 5) 
系统 函数 瓦 (w) 为 10[w(o + mm2) -wu(w-7/2)], -7 <w<+m] 其 中 以 为 单位 阶 牙 函 数 , 假设 
互 和 了 为 零 均 值 。 








9.59 


“9.60 


9.61 


9.62 
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(a) 假 设 民 和 了 不 相关 , 求 输出 随机 序列 Y[n] 的 功率 VIn] 


谱 密 度 。 YIn] 
(b) 设 了 和 V 的 互 谱 密度 为 Eo GG) 
1 
Sxv(®) = 


人 2 十 5 
求 输出 工 的 功率 谱 密度 。 图 P9.58 ”信和 号 加 噪声 输入 系统 


考虑 随机 过 程 X(ti) = cos(wot + @), 其 中 @ 为 均匀 分 布 在 [0, 2r] 上 的 随机 变量 , wo 为 一 固定 频 
率 。 求 一 阶 概率 密度 fx(x; t) 。 此 过 程 是 否 一 阶 平稳 ? 求 给 定 邓 (1 ) = zi 时 (tt) 的 条 件 概率 密度 ， 
表示 为 fx(Xs1 Xi; 刀 , 三 ) ,假设 ti < 把。 

设 2Z(t) =(t) +jY(t), 其 中 X(t) 和 Y(t) 为 联合 广义 平稳 实 随 机 过 程 。 假 设 X(t) 和 了 Y(t) 为 零 均值 
相互 正 交 的 过 程 。 定 义 一 个 调制 在 载 频 w。 上 的 新 随机 过 程 U(t) = Re|2Z(t)e "| 。 给 定 各 自 的 相 
关 函 数 , 即 Ryxx(7T) 和 Ryy(7), 求 使 U(t) 也 是 WSS 随机 过 程 的 一 般 条 件 。 说 明 你 的 条 件 有 哪些 , 使 
产生 的 过 程 U(t) 确 实 为 WSS。 一 些 有 用 的 三 角 恒 等 式 如 下 : 


cos(a 士 了 ) = cosacosP 二 sinasinf 





sin(a 土 P) 三 snacosD 士 coswsin1 


求 图 P9. 61 所 示 四 状态 马尔 可 夫 链 的 稳 态 概率 。 将 答案 用 指数 率 A; 和 表示 。 注 意 状 态 是 用 1 ~4 


ee 


图 P9.61 


提示 : 回忆 一 下 习题 9.51(b) 中 有 关 概 率 流 的 概念 。 

考虑 图 P9. 62 所 示 的 三 状态 马尔 可 夫 过 程 承 (t) , 状态 转移 图 如 图 P9. 62 所 示 。 这 里 状态 标签 即 为 真 
实 的 输出 , 即 X(t) =3 时 过 程 处 在 状态 3。 状 态 转移 是 由 联合 独立 、 呈 指数 分 布 的 到 达 时 距 所 控制 
的 , 平均 速率 如 图 中 分 支 所 示 。 


站 > 
/2 Ks 
图 P9.62 三 状态 马尔 可 夫 过 程 
(a) 假 设 在 t=0 时 刻 由 状态 2 起 始 , 则 对 任意 上 >0, 在 上 时 刻 第 一 次 离开 这 个 状态 的 概率 为 多 少 ? 
(b) 求 上 = 0 时 关于 状态 概率 的 如 下 向 量 微分 方程 的 解 : 
dp 时 
a Ap(t) 
其 中 p(t) =[pi, pz, ps] ,用 A; 和 ji; 表示 生成 矩阵 和 A。 
(c) 证 明 对 于 上 = 0 解 可 表示 为 
p(t)= exp(At) p(0) 
其 中 p(0) 为 初始 概率 向 量 , 矩阵 exp(At) 由 无 穷 级 数 定义 为 
exp(At) SI+ At+ (A + H(A) + At) ry 


不 必 担 心 此 级 数 的 收敛 性 , 但 已 知 其 对 所 有 有 限 的 上 值 , 它 是 绝对 收敛 的 。 
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附录 A 相关 数学 知识 复习 


本 附录 将 复习 一 些 数学 知识 , 这 些 知 识 可 用 于 概率 论 和 随机 过 程 的 学 习 。 我 们 先 从 离散 
数学 和 连续 数学 的 基本 概念 开始 。 


A.1 数学 基础 


先 复习 序列 的 基本 概念 并 给 出 一 些 例子 , 随后 再 复习 序列 求 和 , 最 后 复习 2 变换 。 
序列 


序列 就 是 一 组 整数 集 往 实 数 ( 或 复数 ) 集 的 
映射 。 一 般 来 说 , 整数 集 由 非 负 整数 (nw 二 0 ) 或 
I <n<%) 组 成 。 

一 个 经 常 遇 到 的 例子 就 是 指数 序列 a” 
hs 图 A. 1-1 给 出 了 实数 a 取 不 同 值 时 访 
序列 的 图 形 。 注 意 到 当 1 a1 > 1 时 该 序列 是 发 
散 的 ， 当 1 al < 1 时 , 该 序列 收敛 到 0。 当 a = 
1 时 , 该 序列 是 常数 1, 当 a = -工时 , 该 序列 交 
百 取 值 +1 和 一 1。 

与 之 相关 的 一 个 重要 序列 就 是 复 指 数 序 列 
exp(jwn)，, 该 序列 是 线性 时 不 变 系 统 的 特征 函 
数 。 这 意味 着 对 于 一 个 频率 响应 函数 为 瑟 (w) 图 A11l 4 分别 取 1.05, 1.0 和 0.8 时 指数 序列 图 形 
的 系统 ， 如果 输 入 是 exp(jwn)，, 那么 对 应 的 输 
出 就 是 五 (w)exp(jwn)，, 正好 对 输入 进行 了 缩放 。 


收敛 性 
一 个 定义 在 正 整 数 (n 宇 1) 上 的 序列 (用 zx[n]j 或 如 来 表示 ),， 如 果 随 着 的 增 大 xzLnj 的 


取 值 逐渐 趋向 于 一 个 有 限 值 z, 那么 该 序列 就 收敛 到 x。 更 准确 的 定义 是 : 任 取 一 个 e > 0, 一 
定 存在 一 个 值 ww(s) , 当 多 = No 时 ,1 x[n] -21 < es。 需要 注意 的 是 , No 的 取 值 取决 于 e。 





例 A.1-1 序列 a, 的 定义 如 下 : 
vs = 7) 
试 找 出 1 一 oo 时 序列 的 极限 。 通 过 观察 可 知 , 该 序列 的 极限 为 a, = 0。 为 了 完成 证 明 , 通过 上 
式 可 以 将 No(es) 的 表达 式 写 为 








或 者 有 
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jin 
在 这 里 我 们 假定 0 < e < 1。 对 于 & 任意 一 个 确定 的 取 值 ,Nu 的 取 值 是 一 个 有 限 值 。 
求 和 


在 我 们 的 工作 中 经 常会 遇 到 对 序列 求 和 。 几 何 序列 a” 经 常 被 用 来 讲解 如 何 对 序列 求 和 。 
容易 得 到 下 面 这 个 求 和 公式 , 在 此 假设 ws > ni。 


722 ml _ CQma2 十 1 
很 显然 当 a =1 时, 该 序列 和 正好 为 nn +1。 有 一 个 简单 方法 可 以 用 来 验证 式 (A.1-1) 的 
正确 性 ,首先 定义 S = Ee 然后 再 利用 几何 序列 的 特殊 性 质 得 到 


QS 一 S 十 an2+l 一 ana 
此 时 , 通过 解 上 面 这 个 方程 就 可 以 得 到 $ 的 表达 式 (a 关 1), 即 式 (A. 1-1) 。 
当 | gl 1 时 , 该 求 和 公式 的 上 限 7 可 以 趋向 于 w ,此 时 得 到 


nn a™! 
,= ， lal <1 (A.1-2) 


1—a 





男 外 一 个 有 用 的 求 和 公式 如 下 : 


-> nn Nia™(l — a)+a™t! 
和 > 
(1—a)? 





lol <1 (A.1-3) 


n=n1 


对 于 式 (A.1-2) 和 式 (A.1-3), 求 和 公式 的 下 限 经 常 是 %，= 0。 
之 变换 


该 变换 对 于 分 析 线 性 时 不 变 系 统 的 特性 ,以 及 求解 线性 恒 系 数 差分 方程 非常 有 用 。 确 定 
序列 xLn] 的 Z 变换 定 义 如 下 : 
十 co 
X(z) = >» vhs ZE€. 力 


在 上 面 这 个 方程 中 , 区 间 . 被 称 为 收敛 区 间 , 该 区 间 代 表 复 数 z 的 取 值 范围 , 同时 也 表示 2 
变换 的 定义 域 。 在 这 个 区 间 . 罗 内 , 对 应 的 2 和 x[Ln] 的 和 绝对 收敛 ， 即 

十 ca 

>， Iz[In]llz| ”< oo 


区 间 .多 的 一 般 表 达 式 为 . 罗 = |z:R_ <1z1 < R,} ,是 一 个 环 状 区 间 。 集合 {z1 R_<lz|l <R,| 
的 可 被 理解 为 “该 集合 中 所 有 点 2 的 幅度 (长 度 ) 都 大 于 R_ 小 于 RR,，”。 
例 A.1-2 离散 时 间 序列 XL nj] 为 指数 形式 , 定义 如 下 : 
TIn| = a” exp(jwon)uln] 
w[n] 表 示 单 位 阶 跃 序列 ， 当 Nn 宇 0 时 [mn] =1, 当 n<0 时 ww[n] =0。 
试 计算 该 序列 的 Z 交 换 ， 步骤 如 下 : 
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DO 
X(z) = >， a™ exp(jwon)z " 
n=0 


= y (aeiooz-Dn (A.1.4) 


mn 一 0 


1 
ToT Iz|>lal，. 玫 = {z :lal <|z|} 


2Z 变换 在 离散 时 间 信 号 处 理 中 作用 非常 大 , 这 是 因为 Z 变换 中 关于 卷 积 和 乘法 的 基本 
原理 。 
定理 A.1-1 两 个 绝对 可 和 的 序列 XY[n] 和 h[n] 相 卷 积 , 可 产生 一 个 新 的 序列 Yy[n] 如 下 : 


十 co 


yln] = > rm]hln — m] 


在 此 我 们 用 2 = hh*Y 来 表示 这 种 操作 。 那 么 Yy[n] 的 2 变换 就 可 以 由 和 及 的 ZZ 交换 给 出 
Y(z) = H(z)X(z), 2 € .Bh NN .Ry 

由 于 序列 丸和 2 都 是 绝对 可 和 的 , 那么 它们 各 自 的 收 化 区 间 . 罗 ; 和 . 罗 , 都 应 该 包含 2 平面 上 的 
单位 贺 ( 即 11 z1 = 1| )。 那么 Z 变 换 Y(z) 的 定义 域 就 为 2 € .家 mn . 罗 ,, 此 时 应 确保 该 定义 域 
非 空 。 

利用 这 个 结论 得 到 卷 积 的 2Z 变换 后 ,又 可 以 通过 2 北 变 换 来 得 到 输出 序列 y[n] 。 有 许多 
方法 可 以 求 Z 首 变 换 , 包括 把 了 (z) 展 开 成 究 级 数 的 形式 , 如 果 了 Y(z) 是 一 个 z 的 多 项 式 相 除 的 
形式 还 可 以 用 长 除法 , 以 及 最 有 效 的 留 数 法 。 在 本 附录 A. 3 节 还 会 介绍 如 何 使 用 留 数 法 来 求 
拉 普 拉 斯 逆 变 换 。 


A.2 连续 数学 
本 节 主 要 复习 有 关 一 重 实数 和 二 重 实数 积分 的 计算 。 
定 积 分 和 不 定 积 


在 微 积 分 课程 中 , 我 们 学 习 了 定 积 分 和 不 定 积 分 两 种 积分 , 定义 如 下 : 
| Z2dz = 3 + 不 定 积 分 


i _ ly8 1 3 定 积分 
a 2 本 AN\ 


在 本 节 中 基本 上 只 会 提 及 定 积分 ,而 很 少 涉及 不 定 积分 。 这 是 因为 我 们 需要 用 积分 来 衡量 特 
定 某 种 特性 , 而 不 仅仅 通过 给 定 的 导数 来 求 原 函 数 。 请 注意 这 两 种 积分 的 区 别 。 不 同 于 不 定 
积分 , 定 积分 是 其 积分 上 限 和 下 限 的 函数 , 不 是 的 函数 。 因 此 有 的 时 候 我 们 把 定 积分 中 的 x 
看 成 “形式 变量 ”, 这 是 因为 x 完全 可 以 用 其 他 变量 (如 yy) 来 取代 ,而 这 完全 不 会 影响 定 积分 
的 结果 , 也 就 是 

b 6 

| aa | ydy 
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为 了 计算 定 积分 的 结果 , 一 般 先 求 出 不 定 积 分 的 原 函 数 , 然后 把 原 函 数 在 积分 上 限 的 值 减 去 积 
分 下 限 值 即 可 。 

在 普通 微 积 分 课程 中 , 一 般 不 会 强调 定 积分 对 集合 的 操作 , 甚至 有 与 “曲线 下 方面 积 "无 
关 的 定 积分 存在 , 这 就 是 所 谓 的 黎 曼 积分 (Riemam) 。 以 下 面 的 定 积 分 为 例 : 


b 
z= | F(z)dz(z) 


这 里 2 的 定义 域 集合 为 1z:a x 5| ,通过 将 区 间 (a, 5) 划 分 为 n 等 份 得 到 Ax = (2 -a)/n, 然 
后 再 计算 每 份 数值 结果 来 求 整个 区 间 的 积分 值 , 也 即 是 


(a,b) = AG) x |s (iAz + Az/2) — z(iAz — Az/2) ) 一 





一 I 


其 中 iAx, iAx + Ax/2 e ix:a XxX<b| ,如果 z(x) =x, 那么 此 时 I 就 变 为 了 非常 著名 的 “ 曲 
线 下 方面 积 "的 黎 曼 积分 。 但 在 有 些 情况 下 , 黎 曼 积分 的 条 件 并 不 满足 。 比 如 第 4 章 中 求 数学 
期 望 的 操作 (B[x] = 全 xzx(z)dz) ,如 果 结 果 能 够 收敛 到 一 个 有 限 值 , 那么 就 要 求 函 数 
r(x) 只 存在 有 限 个 断 点 。 如 果 访 (z) 不 满足 这 种 要 求 ， 我们 仍然 可 以 通过 B[X] = 
厂 zaFx(z) 来 求 BLX], 其 中 Px(z) 表示 三 的 累积 分 布 函 数 (CDF) 。 这 种 类 型 的 积分 称 为 


Stieljes 积分 , 这 也 是 “曲线 下 方面 积 " 类 型 的 积分 , 这 部 分 知识 往往 会 在 微 积 分 课程 开头 讲 
到 。 例 如 ， 如 果 F(x) = (1 -e“)wu(x), 那么 dFx(X) = (Ae“)wu(x)dx, 可 以 得 到 


E[X] = | wAe ”dx = 1/Ao 


积分 的 导数 


有 的 时 候 需要 对 积分 关于 某 个 变量 求 导 , 这 个 变量 可 以 是 积分 上 限 , 积分 下 限 , 或 者 积分 
本 号 


sol Sf) 


thy dr (A.2-1) 


引 db(y) 
| fa = TO) DT ~ fol) 


上 面 这 个 重要 公式 的 推导 需要 用 到 方程 Ka, 5b, y) , 可 以 把 5 = b(y) 和 a = a(y) 都 看 成 y 
的 函数 , 那么 有 


al(y) 


dT 01d orda Ol1 
dy Obdy Oady Oy 





用 I 来 代表 下 面 的 积分 结果 : 
b(vy) 
I 全 | f(r,y) dr 
a(y) 


以 及 定义 一 个 函数 环 (x, y)，, 可 得 


f(z,y) a — 3 


得 到 如 下 结果 : 
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oT 

二 f(b(y),y) 

oT 

6 = f(a(Y),Y) 

oI 8 [ey) bl(y) 
BB | f(z,y)dz = 和 页 jdz 


上 面 最 后 一 项 等 号 的 右边 应 该 把 b(y) 和 a(y) 当成 常数 , 这 是 因为 前 面 两 项 在 计算 工 的 变化 
范围 时 已 经 把 积分 上 下 限 计算 出 来 了 。 

下 面 给 出 一 个 例题 来 讲解 如 何 使 用 上 面 的 公式 ,这 个 例题 在 概率 函数 通过 系统 变换 的 学 
习 中 出 现 过 。 

例 A.2-1 试 者 虑 函数 (XxX, Yy) =2+22 的 变换 


© [Y E 。 y 
By | (z 十 2y)2dz = (y+2y)1— (0 十 2y)20 十 | 4(7 十 2y)dz 
0 0 


y 





= (3y)?2+4 (证 + 2ye) 


0 
= (3y)? + 2y? + 8y? = 19y? 
分 部 积分 法 
分 部 积分 法 是 积分 计算 中 一 个 非常 有 用 的 方法 , 公式 如 下 : 
b b 
| u(z)du(z) = w(z)Jolz)|z 一 | v(T)du(z) (A.2-2) 


其 中 和 w 表示 积分 中 关于 x 的 函数 , x 的 取 值 范围 为 a < x < b。 该 公式 的 推导 利用 了 求 导 
的 链条 法 则 ， 即 对 函数 乘积 (zx)v(x) 的 求 导 。 下 面 会 给 出 一 个 例子 来 讲解 。 通 过 分 部 积 
法 , 可 以 求 出 很 多 不 容易 求解 的 积分 解析 表达 式 。 


例 A.2-2 试 求解 下 面 的 积分 
| Te 一 27d7r 
0 


令 UW(Z) =w, duo(Z) = edwx，, 然后 利用 分 部 积分 公式 可 得 


i ] Es 1 
| Ze-2zdz 一 并 (-3e™) 一 | (-z3™) dz 
0 2 0 0 a 








完全 平方 法 


通过 完全 平方 法 , 可 以 利用 已 知 的 积分 值 来 求 未 知 的 积分 值 。 比 如 , 要 竣 出 公式 x + 4x 
的 完全 平方 表达 式 , 可 以 将 该 公式 加 4 得 到 (x + 2)”, 然后 再 减 去 4, 即 
z+4r= (z+2):—4 
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下 面 来 演示 如 何 用 该 方法 来 求 积分 值 。 在 此 以 本 书 中 经 常 遇 到 的 高 斯 积分 为 例 
| e-$7 dz = Van 

假如 需要 求 如 下 的 积分 : 
f e-#(z +4z)dz =? 

此 时 就 可 以 用 完全 平方 法 如 下 : 


十 oo 加 
2 一 去 (元 2 z 
e2 | e 去 (经 十 4z 十 4)d7 


在 这 里 , 我们 在 积分 中 乘 以 了 ee 一， 在 积分 外 又 乘 了 一 个 e ,然后 继续 
进行 变量 替换 y = x + 2, 等 式 变 为 
当当 | -idy 
二 重 积分 
在 (Z, y) 平 面 上 的 积分 就 称 为 二 重 积 分 。 这 里 的 积分 微 元 是 一 个 面积 dxdy。 这 种 积分 的 


求解 应 该 按照 一 定 的 顺序 ,比如 先 z 再 y, 或 者 先 y 再 Y, 因此 这 种 积分 是 重 积 分 。 有 三 种 可 
能 的 表达 式 如 下 : 


站 人 was 了 Toee- (Tse)e 


中 间 的 积分 是 二 重 积分 或 者 面积 元 积分 。 由 于 在 积分 运算 中 应 该 限制 运算 量 , 因此 有 一 个 问 
题 存在 : 上 面 的 三 个 二 重 积分 一 直 都 是 等 价 的 吗 ?” 幸运 的 是 , 在 测量 理论 ”中 有 一 个 非常 有 
用 的 结论 , 那 就 是 : 如 果 一 个 积分 满足 Lebesgue 可 积 函 数 的 定义 , 那么 上 面 三 种 积分 表达 式 
都 是 等 价 的 , 或 者 三 者 都 不 存在 。 在 此 我 们 仅 考 虑 最 常见 的 情况 , 即 三 者 表达 式 都 存在 且 等 价 
的 时 候 。 

需要 注意 的 是 , 在 等 式 最 左边 是 对 x 先 积 分 , 而 等 式 最 右边 是 对 y 先 积分 。 而 对 于 中 间 
的 这 个 二 重 积分 采用 的 标记 读 为 x -y, 这 与 二 元 函数 的 输入 参数 或 面积 微 元 dzdy 相 类 似 ， 
这 样 就 不 会 与 下 面 的 二 重 积 分 相 混 消 。 


3 [5 
| | Ze Ydrdy 
1 J0 


因为 我 们 应 该 知道 , 这 个 积分 区 域 是 以 点 (Z, y) = (1, 0) 和 点 (xX, y) = (3, 5) 为 对 角 的 撼 
形 区 域 。 
函数 

函数 是 指 从 定义 域 区 往 值 域 多 的 单一 映射 。 函 数 定义 中 要 求 的 “单一 ”, 是 指 每 个 x 只 
能 得 到 一 个 y, 也 即 是 . 拟 z) 只 能 有 且 仅 有 一 个 结果 。f(x) = x 就 是 一 个 函数 , 而 f(x) = Vx 
就 不 是 一 个 函数 。 
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单调 函数 ”关于 实 变量 x 的 单调 函数 是 指 函 数值 随 着 x 的 增 大 而 一 直 增 大 , 或 者 随 着 z 
的 增 大 而 一 直 减 小 的 函数 。 前 者 (斜率 为 正 ) 称 为 单调 递增 , 后 者 (斜率 为 负 ) 称 为 单调 递减 ， 
如 图 A.2-1 和 图 A.2-2 所 示 。 如 果 一 个 单调 函数 在 某 些 区域 的 斜率 为 0, 那么 这 种 盟 数 就 是 单 
调 不 减 或 单调 不 增 的 , 如 图 A.2-3 所 示 。 


f(x) 
f(x) 
0 x 0 X 
图 A.2-1 单调 递增 函数 的 例子 图 A.2-2 单调 递减 函数 的 例子 
逆 函 数 flx) 





一 个 函数 的 逆 函 数 可 能 存在 也 可 能 不 存在 。 
一 个 函数 存在 逆 函 数 , 还 要 求 原 函数 为 一 一 映射 ， 
即 值 域 多 中 任意 一 个 y 在 定义 域 .多 中 只 有 唯一 的 
& 与 之 对 应 。 这 样 我 们 才能 定义 一 个 从 多 映射 到 人 
多 的 逆 函 数 广 (y)。 同时 可 知 , 逆 函 数 存在 的 充 
要 条 件 就 是 原 函 数 .f(x) 是 单调 递增 或 单调 递减 
的 。 图 A.2-3 中 的 函数 就 没有 逆 函 数 , 这 是 因为 ee 
该 函数 存在 一 截 斜率 为 0 的 平坦 区 域 。 

A.3 留 数 法 求 傅 里 叶 逆 变 换 * 

在 第 8 章 和 第 9 章 , 我 们 分 别 定义 了 离散 时 间 序 列 和 连续 时 间 序 列 的 功率 谱 (PSD) S(w)， 
同时 也 表明 功率 谱 对 于 分 析 输入 为 随机 过 程 的 LTI 非常 有 用 。 我 们 常常 需要 对 给 定 的 功率 谱 
求 傅 里 叶 逆 变换 来 得 到 它 的 相关 函数 , 这样 就 可 以 分 析 它 的 时 域 特性 。 本 节 将 复习 如 何 基于 
留 数 法 求 傅 里 叶 逆 变换 。 

我 们 先 复习 广义 平稳 (WSS) 随机 序列 的 功率 谱 密度 和 相关 函数 之 间 的 变换 关系 


十 co 
S(w)= | R(T)e ”dT 


R(T) = 元 FE S(w)e+Jo%7 d7 
为 了 求 上 述 公 式 的 傅 里 叶 疼 变换 ,需要 采用 基于 复 变 量 理论 ”的 留 数 法 , 那么 首先 必须 把 该 
积分 表示 成 一 个 沿 s 平面 的 围 线 积分 形式 。 在 此 我 们 定义 一 个 关于 复 变 量 s = o + jw 的 新 函 
数 S。 





@ 假设 阅读 本 节 内 容 的 读者 非常 熟悉 第 8 章 和 第 9 章 的 内 容 。 
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首先 , 在 虚 轴 上 定义 S(s), 这 样 就 可 以 表示 成 实 变量 方程 S(w) 的 形式 
S(s)|s=jw 全 S(w) 
然后 , 用 变量 s 来 取代 jo, 将 函数 S(jw) 扩展 到 整个 复 平面 。 


S(s)|s=io = S(w) = WW R(T)e-ior gr 


因此 有 
S(s) = | R(rjersrdr (A.3-1) 
上 式 为 相关 函数 尽 的 双边 拉 普 拉 斯 变换 。 同 样 地 ,由 侍 里 叶 逆 变换 
R(7) = 37 | SC-ioe rajo) 


i (A.3-2) 
二 一 一 | S(s)e’” ds 
上 式 是 s 平 面 上 沿 虚 轴 的 积分 。 

根据 复 变 函数 理论 "和 Y!, 式 (A.3-2) 中 的 积分 称 为 围 线 积分 , 利用 留 数 法 可 以 计算 这 种 
封闭 围 线 的 积分 值 。 当 被 积 函 数 是 有 理 函 数 时 , 这 种 方法 非常 简单 , 其 中 有 理 函 数 是 指 该 函数 
可 以 表示 成 s 的 两 个 多 项 式 相 除 的 形式 。 由 于 在 以 差分 方程 描述 的 线性 系统 中 这 个 条 件 很 容 
易 满 足 , 因此 用 留 数 法 求 积 分 值 的 方法 非常 有 用 。 我 们 从 复 变 量 理论 出 发 来 给 出 主要 的 结论 。 


事实 
假设 F(s) 是 复 变 量 s 的 函数 , F(s) 在 C 逆 时 针 方向 包围 的 区 域内 解析 , 且 在 该 区 域内 存 
在 已 个 孤立 的 奇 点 。 这 些 极点 分 别 为 s = pi;, i% = 1,…, P。 那么 有 


J 
区 bro)as 过 a Res[F\(s):;s = pi] (A. 3-3) 


其 中 

1. 对 于 一 阶 极点 , Res[F(s);s =p] = [F(s)(s-p)]1,., 

2. 对 于 二 阶 极点 , Res[ FP(s); s = p] = 人 LEP(s) (s -p)*] 1,., 

1 d' 
(n—1) (4 局 

为 了 应 用 上 面 的 结论 来 求解 问题 , 我 们 需要 选取 合适 的 积分 路 线 C, 。 如 果 选 取 的 积分 路 
线 是 半圆 (如 图 A. 3-1 所 示 ) , 那么 当 1 s1 一 + % 时 函数 S(s)es 将 会 很 快 趋向 于 0, 那么 在 该 
区 域内 函数 S(s)e” 的 积分 值 不 会 变化 。 换 句 话说 , 函数 S(s)e” 在 这 个 半圆 区 域内 的 积分 值 为 0。 
该 结论 成 立 的 条 件 是 当 1 s1 一 + w 时 , 函数 1 S(s) | 有 界 , 即 

les | 一 0 当 Re(s) 一 一 00 

其 中 上 式 后 半 部 分 成 立 的 前 提 是 7 > 0。 因此 对 于 所 有 的 正 值 7, 可 以 得 到 





3 对 于 妈 阶 极点 , Res[F(s);s =p] = 5LP(s) (s -2)"])| 
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1 
R 二 一 一 一 ST 一 
(7) Dr 六 S(s)e’ds 2, ResfS(s)esr;s = pi 


i 
inside CL 


类 似 地 , 当 r < 0 时 , 应 该 选取 的 积分 路 线 是 s 平 面 的 右 半 部 分 (如 图 A.3-2 所 示 ), 在 这 种 情 
况 下 可 以 得 到 

le””| 一 0 当 Re(s) 一 十 co 
所 以 下 式 成 立 : 


此 时 , 顺 时 针 的 曲线 意味 着 7 < 0。 





图 A.3-1 s 平 面 上 左 半 部 分 闭 曲线 ,7 > 0 图 A.3-2 s 平 面 上 右 半 部 分 闭 曲线 ,7 <0 
例 A.3-1 (一 阶 功率 谱 ) 令 
S(w) = 2a/(a2 + w’), 0<a<l 
那么 有 


S$(s)|s=ijw = S(@) =2a/(o +0°)=20/(jo+a)(-jw+a) 


即 





图 A.3-3 零 极点 图 


为 了 计算 7 > 0 时 的 留 数值 


附录 A 相关 数学 知识 复习 467 























站 2aesr 
R(T) = ReslSlsjes is = —al = i 
Wi 2a OT 
2a® 
当 7 <0 时 
R(7) = —Resl$(s)e’';s = +al 
2aes7(s 一 Qi) 
(s 十 a)( 一 s 十 a) st 
2ae” pe 
(s+a)(—1) i 2 
将 上 面 两 种 情况 的 结论 合并 为 简单 的 表达 式 , 得 到 
R(7) = exp(—al7)|), —00 <T <+o0 


随机 过 程 功 率 谱 密 度 的 的 傅 里 叶 逆 变换 
对 于 一 个 随机 过 程 , 也 可 以 在 zz 平面 上 对 其 进行 围 线 积 分 。 在 此 我 们 先 复习 一 个 序列 的 
傅 里 叶 变 换 及 其 逆 变 换 公 式 。 


十 cc 
3》 RIm]je 2 


77 一 一 DO 
十 五 
RIm| = 去 | S(w)et omdw 
一 家 


上 式 中 第 二 个 积分 表达 式 也 可 以 写成 复 平 面 上 沿 单位 圆 的 围 线 积 分 ， 只 需要 定义 一 个 复 变量 
的 函数 表达 式 S(z)1。。 A S(w)，, 用 zz 来 替换 e* 得 到 一 个 新 的 表达 式 , 同时 也 得 到 2 变换 形 
式 的 功率 谱 密度 ,具体 表达 式 如 下 : 


十 ce 


S$(z) = > RIm]lz ™ 
a (A.3-4) 
1 772 一 上 
RIm| = 7 sz dz ”其 中 C= {|z|= 1} 
在 上 面 这 种 情况 下 , 积分 沿 着 逆 时 针 方 向 围绕 原点 形成 团 合 曲线 , 因此 我 们 可 以 直接 应 用 


式 (A.3-3 ) 的 乡 ee 

RIm| = 2 Res[$(z)z™ ;2z = pi 
上 式 需 对 单位 圆 内 的 所 有 的 极 点 求 和 。 这 个 公 趟 对 所 有 的 整数 m 有 效 , 不 过 当 m 为 负数 的 时 
候 这 个 公式 就 不 好 用 了 ，, 因为 当 z =0 的 时 候 极点 z"”” 的 值 为 无 穷 大 。 幸 运 的 是 , 用 z 到 1/z 
的 一 个 简单 映射 就 可 以 很 方便 地 解决 这 个 问题 , 因此 可 以 得 到 '^ 


RIm] = i 是 se 


$j | li 
一 一 一 Z ZS “ds 
2Tj 0 ) 


这 样 就 可 以 回避 当 m <0 时 极点 无 穷 大 的 麻烦 。 综 上 所 述 , 可 以 得 到 如 下 结论 : 
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当 m 大 0 时 
Rim= ) Resls(z)zm !;z= pi 
/单位 圆 内 的 极点 
当 m <0 时 
Rlm] = >》, Res[S(z 1)z—™-; 2 一 pi 1] 
i: 单 位 图 内 的 极点 
例 A.3-2 (随机 序列 的 一 阶 功率 谱 密度 ) 给 定 一 个 功率 谱 密度 函数 如 下 : 
2 二 
S(w) = (1—p°) a ee 





(1+p2) 一 2pcosw” 
该 函数 如 图 A.3-4 所 示 。 
利用 式 COsw = 0.5(e”+e*)，, 可 将 式 (A.3-5) 转 换 为 复 变 函数 表达 式 





人 呈 2(1 一 02) 
S(z)|>=eio 一 了 (w) = (1 十 p2) 一 2pcosw 
2 二 .09 





(二 ) 二 peti” +e-ie) 
用 & 来 取代 el" 得 到 z 的 函数 




















2(1—p? 
er 
Se Pa pp- 
上 式 在 & 平面 上 的 零 极点 分 布 如 图 A.3-5 所 示 。 在 此 给 出 从 S(w) 到 SS(z) 的 转换 公式 
coswm + 当 (z 二 2 1) (A.3-6) 
9 
8 
7 
6 
5 
4 
3 
六 +l/p Re(z) 
1 
二 = 1 2 3 4 
图 A.3-4 ”功率 谱 函 数 S(w) ,p 取 (0, 1) 之 间 的 值 图 A.3-5 zz 平面 
当 7 三 0 时 
RIm| = Res[S(z)z™ 1!;z = /] 
mm 一 1 
SR 站 六 六 


mm 
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当 m <0 时 
RIm|] = Res[S(z 1!)z-™-!1;z = 有 | 
上 式 成 立 是 因为 2 = p” 是 单位 圆 外 的 一 个 极点 。 








进一步 地 
~—1 
S(1/z) —2(p™ p) (z-1 天 万 Ci p-1) 
= 
由 于 式 (A.3-6) 的 对 称 性 ， 上 面 的 结果 显而易见 。 





Res[S(z ')z ™ ;z= p= —2(p 一 站 1 





整理 已 得 到 的 表达 式 , 得 到 最 终结 果 


R[m] = 2pl™, 一 c < m <+oo0 


A.4 数学 归纳 法 ” 


概率 论 里 面 的 许多 证 明 都 是 通过 数学 归纳 法 得 到 的 。 数 学 归纳 法 可 用 来 证 明 许多 定理 ， 
尤其 是 用 其 他 方法 证 明 比 较 困难 的 时 候 。 例 如 : 如 果 说 一 个 集合 S 包含 的 元 素 都 是 正 整数 , 该 
如 何 来 验证 这 个 结论 呢 ? 我 们 可 以 列举 出 1 e S, 2 e S, 3 e S 等 。 但 要 用 这 种 方法 的 话 , 就 
不 可 能 在 有 限 长 的 时 间 里 来 完成 证 明 。 在 这 种 情况 下 , 就 可 以 采用 数学 归纳 法 的 思想 。 

令 集 合 10.1 为 无 限 长 的 序列 , 其 中 三 1。 我 们 希望 当 所 有 的 大 = 1 时 该 命题 都 成 立 。 在 
这 里 不 需要 一 个 一 个 地 证 明 , 我 们 遵循 以 下 的 步骤 来 证 明 : 

(i) 如果 C 为 真 。 

(ii) 对 任意 的 上 > 1, 如 果 Ci 为 真 可 得 到 Co 也 为 真 , 那么 对 所 有 的 三 1, Ci 为 真 都 成 立 。 

那么 当 我 们 采用 数学 归纳 法 时 , 只 需要 完成 两 个 步骤 即 可 (i 和 让) 。 对 于 竺 证 明 的 命题 ， 
把 子 命题 G; 编 好 号 以 后 , 首先 证 明 C, 为 真 。 然 后 再 试图 证 明 第 二 个 步骤 也 为 真 。 首 先 对 于 任 
意 一 个 k > 1, 假设 C 为 真 , 如 果 可 以 得 到 Ce 也 为 真 。 命 题 得 证 。 


例 A.4-1 (数学 归纳 法 ) 试 证 明 当 0 <a < 了 是 时 ,对 于 所 有 的 正 整 数 人 , 有 a* < b* 成 立 。 

证 明 在 此 我 们 选用 数学 归纳 法 。 命题 的 条 件 0 < a < 日 可 以 直接 当成 第 一 个 子 命题 Cl 
= la <b| 成 立 , 那么 令 Ci 为 第 Kk 个 子 命题 , 定义 为 C 4A ja < 6b"|。 在 此 假设 Ci 为 真 , 对 于 
这 个 hb 有 a* < b* 成 立 。 可 得 到 a*”" =axa <axb" <bxb* =b"" ,因此 Ci 为 真 。 根据 数 
学 归纳 法 的 思想 可 知 对 于 所 有 的 C 为 真 都 成 立 , 因此 对 于 所 有 的 正 整 数 k， 有 a < 及 成 立 。 





@ 参见 参考 文献 [A4]。 
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附录 B 伽 马 函数 和 5 困 数 


B.1 件 马 函数 


伽 马 函 数 T(a) (a 为 实数 ) 是 通过 积分 来 定义 的 "…” 


F(ay 上 lo-le-tdt (B.1-1) 


其 中 a > 0。 由 式 (B.1-1) 可 得 T(1) = 1。 利用 分 部 积分 法 , 可 得 T(a +1) 


co oo co 
ET(a 十 蕊 = | tee tdt = —t°e! +a| 这 
0 0 0 





一 aT(a) 
因此 对 于 所 有 的 正 整数 天 
T(k) = (ko 1)! 
对 于 两 个 整数 之 间 的 自 变量 ,， 伽 马 函 数 采 用 平滑 内 捅 来 求 值 。 在 MATLAB 中 相应 的 函数 为 


garmmao 
注意 有 01! = 1。 在 这 里 我 们 给 出 两 个 结论 T(0.5) =VT 和 T(1.5) = VT/2。 伽 马 函 数 有 的 
时 候 被 称 为 广义 阶乘 函数 。 


B.2 不 完全 伽 马 函数 


(上 ) 不 完全 伽 马 函 数 下 (a, x) 也 是 通过 积分 定义 


T(a,z) 全 | 1 ve dt 


并 


其 中 a > 0。( 下 ) 不 完全 伽 马 函数 的 定义 为 
a 2 Qt 
7Y(a, 7) | tce “dt 
本 书 中 如 果 不 做 特别 说 明 的 话 , 不 完全 伽 马 函 数 都 是 指 上 不 完全 伽 马 函数 。 很 显然 , T(a, 0) = 
F(a)。 当 a = 为 整数 时 , 不 完全 伽 马 函 数 满足 下 面 的 序列 所 和 : 


k—l 1 
sw I 
F(R 2) = (k= le 有 


上 式 也 可 以 写成 : 
T(k,z) = (k—1)T(a—1)+r* le ? 

在 MATLAB 对 应 的 函数 为 gammainc。 该 函数 在 计算 泊 松 随机 变量 的 分 布 中 起 到 非常 关键 的 

作用 。 
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B.3 6 函数 


6 函数 5(Z) 被 定义 为 这 样 的 一 个 “函数 ”: 该 函数 值 在 x 关 0 时 为 0, 在 =0 时 为 无 穷 大 
| 0(z)dz =1 


关于 5(Z) 是 否 为 一 个 “ 函数”, 争论 主要 在 于 该 函数 的 取 值 是 无 界 的 ,或 者 在 一 段 有 限 长 时 间 
内 该 信号 的 能 量 竟然 为 无 穷 大 。 另 外 一 种 关于 6(x) 的 定义 是 把 它 看 成 一 种 脉冲 函数 的 极限 
情况 。 比 如 对 于 拢 形 窗 


w (2) A 人 Re 


b 
那么 就 可 以 把 5(x) 定义 为 

0(Z) 全 im {aw(az)} 
另外 一 种 关于 5(zZ) 的 定义 也 可 以 是 如 下 的 表达 式 : 

0(z) 全 im {a exp(—ma?z*)} 
和 矩形 形状 和 高 斯 形状 的 脉冲 函数 如 图 B. 3-1 所 示 。 其 中 aw(ax) 的 导数 是 不 连续 的 , 而 

aexp( - ma x ) 具有 连续 的 导数 。 其 实 这 些 脉 冲 函 数 的 具体 形状 是 不 重要 的 , 8(x) 函数 最 关 
键 的 性 质 为 :(1) 单 位 面积 ; (2) 当 %w 关 0 时 函数 值 要 迅速 降低 为 0。 





图 B.3-1 单位 矩形 和 单位 高 斯 形状 脉冲 


关于 8 函数 还 可 以 给 出 这 样 的 定义 : 如 果 任 意 一 个 函数 所 .) 关于 xv 连续 , 且 满 足以 下 积 
分 表达 式 , 那么 该 函数 就 是 6 函数 9 


| fo say= f(0) (B.3-1) 


这 里 的 定义 和 前 面 的 那些 定义 其 实 是 一 致 的 , 因为 将 a 足够 大 的 时 候 得 到 的 8(x) 的 定义 代入 
到 式 (B.3-1) 中 也 是 成 立 的 。 由 于 只 有 在 x = 2 时 候 被 积 函数 不 为 0 因此 可 以 用 六 zx) 来 取代 
f(y)，, 并 把 f(x) 移 到 积分 符号 外 面 去 。 由 于 所 有 的 脉冲 函数 都 是 单位 的 , 因此 可 以 得 到 
式 (B.3-1) 的 结果 。 注 意 有 5(Z) = 6(-2Z)。 





@ 在 此 需要 说 明 的 是 , 由 于 5(z) 仅 在 一 个 孤立 点 上 的 取 值 不 为 0, 因此 并 没有 其 黎 曼 积分 的 定义 。 因 此 式 (B.3-1) 本 质 上 
只 是 一 个 符号 表达 式 。 换 名 话说 ,这 只 是 对 矩形 脉冲 和 高 斯 形状 脉冲 的 一 种 限制 性 操作 。 
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对 于 单位 阶 牙 函数 wx(2 - x;) ,该 函数 在 = x; 是 不 连续 的 且 有 (0) A 1 [如 图 B.3-2(a) 
所 示 ]。 这 种 不 连续 性 可 以 看 成 图 B. 3-2(b) 中 也 数 的 极限 情况 , 其 导数 如 图 B. 3-2(c) 所 示 。 





(a) 
图 B.3-2 (a) 单 位 阶 跃 函数 w(x -x;) ;(b) 单 位 阶 跃 函数 的 一 种 近似 ; (c) 图 (b) 中 函数 的 导数 


图 B.3-2(b) 中 函数 的 导数 具体 定义 如 下 : 





dF| a dF(zi) 总 了 T— Ti 
dz ws 加 dzi; 时 Ar 一 0 Ar Ar (B. 3-2) 
= 6(7 — Zi) 


因此 , 阶 跃 防 数 在 非 连 续 点 处 的 导数 就 是 一 个 6 函数 , 它 的 幅度 2 与 阶 路 的 高 度 成 正比 。 一 般 
把 6(x - 2 ) 称 为 在 x; 处 的 5 函数 。 
回 到 第 2 章 中 的 式 (2.5-7) ， 该 公式 可 以 写 为 
F(x) 三 > P(xzi)u(r — zi) 


再 应 用 式 ( B.3-2) 得 到 的 结论 , 就 可 以 写成 一 个 离散 随机 变量 的 形式 


1(0)= SE = rx (B.3.3) 


其 中 定义 Prk(Z) A F(x;) -F(xi) 和 单位 阶 跃 函数 保证 了 可 以 对 所 有 的 进行 求 和 操作 ， 因 
此 有 wii < wo。 
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四 也 可 以 称 为 8 函数 的 面积 。 


附录 C 郴 数 变换 与 雅 可 比 行列 式 


C.1 概要 


函数 变换 在 概率 论 中 以 及 其 他 领域 中 的 作用 非常 大 。 在 本 附录 中 我 们 将 复习 雅 可 比 行列 
式 的 理论 , 首先 复习 两 个 函数 之 间 的 转换 , 然后 再 拓展 到 ?7 个 函数 的 情况 。 在 此 , 首先 复习 高 
等 数学 中 两 个 基本 的 结论 。 

定理 C.1-1 设 卫 是 从 玖 "到 玖 "的 一 个 有 界线 性 变换 。 如 果 刀 是 本 中 的 一 个 有 界 集合 ， 
且 万 的 体积 为 V( 万 ) ,那么 卫 ( 万 ) 的 体积 为 上 x V(D), 其 中 下 是 独立 于 万 的 一 个 常数 。 

定理 C.1-2 如 果 人 TT 是 开 集 DD 中 从 到 Er' 的 一 个 变换 , 且 Te 0, 则 对 任意 点 p e DD， 
dT 是 EB" 到 EB” 的 一 个 线性 变换 。 

第 一 个 定理 表明 , 变换 工 对 集合 DD 体积 的 影响 只 取决 于 一 个 常数 , 而 与 D 的 具体 形状 无 
关 。 第 二 个 定理 表明 , 在 微分 层面 , 即使 非 线性 变换 也 成 为 线性 的 , 这 种 变换 具备 了 微分 的 功 
能 。 接 下 来 将 讲解 这 两 个 定理 的 具体 应 用 。 


C.2 n=2 时 的 雅 可 比 行列 式 


令 = g(xX, Yy) 和 w= 有 h(x, Y) 为 一 一 映射 2 的 微分 方程 对 , 它们 各 自 的 逆 函 数 为 x = 
gb(v,w) 和 2 = pg(v, ww)。 令 癌 量 z = (Vv, w) 给 出 v'-w' 平面 上 一 个 无 限 小 的 矩形 次 , 向 量 
& = (Xx, 2) 也 给 出 x'-y' 平面 上 一 个 无 限 小 的 矩形 S。 根据 定理 C. 1-1, 这 个 微分 变换 是 线性 
的 , 再 根据 定理 C. 1-2, 面积 之 比 A4(S)/A( 叶 ) 为 一 个 常数 。 用 1 了 1 来 表示 这 个 常数 , 接 下 来 
将 计算 1 了 | 的 值 。 

在 此 可 用 图 C. 2-1 来 帮助 计算 常数 J 了 的 值 。 利 用 x = g$(v, w) 和 2 = pg(v, W) ,顶点 P,， 
Ps 和 Ps 对 应 的 映射 点 五 , 已 和 五 ; 分 别 为 


5 _/. .00, 9p D _/. 900. Ow 
P'i = (x,y), P» = ( 十 Budoy 十 Pav) » Ps ( 一 Bd y+ Bd 


直接 将 泰勒 级 数 在 (x, y) 处 展开 即 可 得 到 上 面 的 结果 。 比 如 , 对 于 P 的 坐标 (Xs, ys)， 
计算 过 程 如 下 : 
XT2 = pV dy,w) Tb(v,w) 十 Seav 和 VY2 三 (十 du,U) SO po(v,w)+ Pedv 


关于 w 的 导数 都 为 0, 这 是 因为 从 P, 到 Ps 时 w 为 一 个 常数 。 由 向 量 分 析 的 理论 , 向量 
v， 和 zs 张 成 的 平行 四 边 形 面积 可 由 二 者 长 度 的 又 乘 给 出 





@ 对 于 每 个 点 (Z,，2y) ,只 唯一 映射 到 点 (ww, 2), 反之 亦 然 。 
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“um _|/8604, ap x (20g SP jd 
A(S) = |v1 x v2| = (re 十 ej) x (Bi + Sejdw) 
其 中 v，= P。- Pi,v。= Ps -P,。 单位 向 量 i 和 j 满足 i xj = Kk,j xi =-k,ixi=jxj=0, 
其 中 k 1 i,j, 同时 垂直 于 平面 外 的 所 有 点 。 因 此 有 
009 Op O09 Ow 


ov Du Ow Ov 


因为 有 4( 跑 ) = dvdw, 因此 二 者 面积 之 比 为 
aap 0g ap 


ovou Ow Ov 


A(S) = dv diw 








A(S)/A(R) = 全 | 








对 于 高 维 的 情况 , 把 了 写成 行列 式 的 形式 更 简洁 一 些 。 实 际 上 , 对 于 二 维 的 情况 也 可 以 写 
成 行列 式 的 形式 
op 6b 
Du au|l O00p 00 0% 


“|e gpl™ Bo By 
Bm 
其 中 了 称 为 zx = $(v, w) 和 2 = p(v, w) 变换 的 雅 可 比 行列 式 。 


Ps 





无 限 小 的 矩形 无 限 小 的 矩形 映射 为 无 限 小 的 平行 四 边 形 
图 C.2-1 
除 此 之 外 , 在 计算 概率 测度 (有 时 也 称 为 概率 质量 或 概率 体积 ) 的 时 候 常 常 需要 用 到 雅 可 
比 行列 式 。 例 如 , 假设 概率 密度 函数 为 .Ar(z, V) , 变换 关系 为 Z = 由,，W) 和 2 = pg(v, Ww)， 
定义 事件 B A 17: (X, 了) e pC | ,那么 有 
P(B)= | Jxy(z,y)dz dy @# | fxy (9(v,1w), Pp(v,w)) dv du 


这 是 因为 dzdz z dvdw。 这 个 时 候 就 需要 用 雅 可 比 行列 式 来 让 两 个 积分 值 之 间 划 上 等 号 ， 
如 下 : 
| | jp th Wy = | | fxy ($l, 0), p(0,w))|jldv duw 
P 加 


有 的 时 候 , 对 原 函数 (v2 = g(xX,Yy),w = h(x, y)) 的 操作 比 逆 函 数 (z = 中， w),y = 
gp(v, w)) 容易 一 些 。 为 了 得 到 想 要 的 结果 , 我 们 需要 计算 面积 之 比 , 即 v -w 系统 中 汶 ' 比 x 
-y 系统 中 的 N' (如 图 C.2-2 所 示 ) 。 按 照 同样 的 步骤 , 可 以 得 到 A(N’)/A(R') A 1/1J1， 
右上 方 的 一 撤 用 来 区 分 两 个 系统 中 的 区 域 。J 的 表达 式 如 下 : 
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Og Og 

Or Oy 

Oh Oh 

ar Oy 
根据 定理 C. 1-1 可 知 A(S’)/4(R') = A(S)/4( 希 ), 因此 有 1 71=1/1J1, 或 者 | JJ1=1 
成 立 。 具 体 的 计算 过 程 作为 课 后 练习 留 给 读者 。 


y+dy 





0 Wi 0 x X 十 dX 


无 限 小 的 平行 四 边 形 无 限 小 的 平行 四 边 形 映射 为 无 限 小 的 矩形 
图 C. 2-2 


C.3 7 为 任意 值 时 的 雅 可 比 行列 式 


如 果 我 们 愿意 采用 线性 代数 中 的 矩阵 和 向 量 符号 , 那么 就 更 容易 应 对 一 般 情 况 。 首 先 , 如 
果 在 高 维 情况 下 仍然 采用 单位 向 量 i, j,k 非常 不 方便 。 此 时 , 改 为 采用 列 向 量 表示 的 单位 矩 
阵 。 因 此 在 空间 无 中 , 有 e, = [1, 0]" 和 es。 = [0, 1] 。 a 





009 Op 0 Dop 
D1 一 到 del 十 By dv e» = [Pe oo 
以 及 
ab ap ag ap 1 
v2 = i del 十 Bi dy e2 = 攻 Bd 


接 下 来 可 得 到 2 x2 的 矩阵 到 = [v， v2] ,其 中 WV 的 下 标 2 表示 二 维 欧 氏 空间 。 

对 于 n=2 的 这 种 特殊 情况 , A(N3) 的 值 即 为 1 det Vs 1 。 当 处 理 高 维 情 况 时 , 我 们 不 再 采 
用 “平行 多 面体 (六 面体 ) 面积 ”这 个 说 法 , 而 改 为 采用 “平行 多 面体 体积 ”, 尽管 此 时 还 会 有 些 
较真 的 人 坚持 认为 三 维 空间 以 上 的 情况 应 该 采用 “ 超 体积 ”这 个 名 词 。 同 样 地 , 在 高 维 情况 下 ， 
用 不 同 的 下 标 来 区 分 函数 和 参量 比 用 符号 简单 。 在 n 维 空间 中 , 平行 多 面体 体积 仍然 采用 高 
乘 以 底面 积 的 方法 , 其 中 底面 积 是 指 m% -1 维 空间 中 平行 多 面体 的 体积 , 高 是 指 分 量 w 的 长 
度 , 而 且 v, 垂直 于 空间 Br” 中 的 所 有 向 量 。 因 此 在 空 彰 中, 底面 积 是 指 选 定 的 基 向 量 的 长 
度 , 高 度 是 指 第 二 个 向 量 中 与 之 正 交 分 量 的 长 度 。 在 空间 FW 中 , 底面 积 是 指 任意 两 个 向 量 转 
成 的 平行 四 边 形 面积 , 高 是 指 第 三 个 向 量 与 平面 相 垂直 分 量 的 长 度 , 该 平面 是 由 前 面 两 个 向 量 
构成 的 。 

我 们 希望 计算 % 维 空间 中 无 限 小 平行 多 面体 的 体积 。 在 二 维 空间 中 , 体积 V =1 det V1， 
那么 在 n 维 空间 中 直接 得 出 及 =1 det V,, 1, 这样 对 吗 ? 回答 是 对”, 而 且 可 以 由 数学 归纳 法 
证 明 。 在 此 , 我 们 假设 VV, =1 det V1 是 正确 的 , 那么 就 必须 要 证 明 TV,,，=1 det V1 也 是 正 
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确 的 。 根据 向 量 D1， vs， 机 VU,, Uniis 和 矩阵 Via 可 以 写 为 


Vl Un| Vntl1,l 


:| Vnt+1,2 
Vnt1 = . . . . 





0 0 0 |w+an+l 


了 














ze 站 | ntl 


为 了 计算 1 det V,, 1，, 可 将 最 下 面 一 行 展开 , 由 于 展开 后 其 余部 分 都 为 0, 因此 可 得 到 
| det Wa | =| Vs v+1 1| det 机， lisa 现在 仔细 分 析 一 下 向 量 Zn+l， 根据 向 量 €1, €2, “**, Cnil, 
它 可 以 写 为 


n 
Unt+1 = Vn 二 Lin 十 1en 十 1 十 > Vn+1,i Ci 
i=1 


其 中 e; 为 一 个 列 向 量 , 其 中 第 i 行为 1, 其 余 都 为 0。e 为 单位 向 量 , 与 el, ez，…，e, 都 正 
交 , 因此 正 交 于 el ,ez,，…,， ev 张 成 的 空间 , 而 且 它 的 高 度 为 1 2,,, wu1。 由 于 1 det V1 表示 
n 维 空间 中 平行 多 面体 的 体积 , 因此 它 是 n+1 维 空间 中 的 底面 积 。 所 以 表达 式 | det V1 = 
1 vn 11 det V1 , 其实 也 是 高 乘 以 底面 积 的 形式 , 命题 得 证 。 

读者 如 果 对 阿达 马 ( Hadamard ) 不 等 式 和 格拉 姆 - 施 密 特 ( Gram-Schmidt) 正 交 化 过 程 熟 
悉 的 话 , 那么 就 可 以 不 用 数学 归纳 法 而 直接 给 出 更 快 的 证 明 , 不 过 这 样 就 不 够 直观 易 懂 。 


例 C.3-1 在 第 5 章 中 我 们 考虑 了 如 下 的 变换 : 


y1 = 91(7T1, 7Z2 Zn) 
Y2 = g2(Z1,72 Zn) 
yn = gm Tay Vn) 


其 中 存在 唯一 的 逆 变换 

Z1 = Pi1(Y1,Y2,* yn) 

T2 = Goa(Y1,Yy2,* ++ , Yn) 

Tn = pn(Yy1,Yy2,***, Yn) 
此 时 , (Wi, Ya，"…，Y，) 系统 中 抵 形 平行 多 面体 映射 成 为 (Zi ， Xs。，…, YX，) 系统 中 的 平行 多 面 
体 ,， 其 中 前 者 的 体积 为 II dy;1 ,后 者 的 体积 为 | det 权 ,| =1 det[v1, vs,…, UV,]1。 通 过 
对 变换 求 微分 , 可 以 得 到 Vi, Y= 1,，…, Nn 如 下 : 


附录 D 测度 和 概率 


D.1 内 容 简 介 与 基本 概念 


有 些 数学 家 把 概率 论 看 成 测度 论 ( measure theory ) 的 一 种 特例 。 实 际 上 ， 随机 变量 是 一 
种 可 测 函 数 ; 分 布 函数 是 一 种 测量 ; 事件 是 可 测 集 ; 样本 描述 空间 和 事件 域 统称 可 测 空间 ; 概 
率 空间 是 一 种 测度 空间 。 对 于 那些 对 测度 理论 基本 概念 不 太 熟 悉 的 读者 , 我 们 在 本 附录 中 会 
给 出 一 些 结论 。 在 此 认为 读者 已 经 阅读 过 第 1 章 的 内 容 , 而 且 对 集合 运算 , 域 和 o 域 (0 - 
field) 等 概念 比较 熟悉 。 本 附录 中 的 内 容 改 编 自 Billingsley 的 经 典 著作 人 了。 

设 2 为 一 个 空间 (全 集 ), 4, B, C, … 是 2 的 元 素 ( 子 集 )。 用 中 来 表示 空 集 。 令 3S 为 0 
上 的 一 个 集合 域 。 如 果 S 是 Q 上 的 一 个 a 域 , 那么 (2,S) 就 是 一 个 可 测 空 间 。 令 jv 为 8 上 
的 一 个 集合 函数 @。 如 果 刀 满足 下 面 的 条 件 , 那么 j 就 是 一 个 测度 : 

(GD 令 4 e S, 那么 有 [A] e [0, %)。 


(ii)xL$] = 0。 
( 道 ) 如 果 4, 4,, … 是 中 的 不 相交 序列 集合 , 且 有 Uk-1A: e 全 ,那么 


Hh 局 4 = pe 
k=1 k=1 


这 个 性 质 称 为 可 列 可 加 性 。 如 果 wLO] < %, 测度 4 为 有 限 值 , 当 jLQ] = mo 时 允 为 无 限 值 。 
当 wLO2] = 工时 成 为 概率 测度 , 参见 第 1 章 相 关内 容 。 如 果 3 是 2 中 的 一 个 o 域 , 那么 
(2, 仿 , 4) 是 一 个 测度 空间 。 

可 列 可 加 性 意味 着 有 限 可 加 性 ， 即 


n 








L (J Ax| = > nlAx] 
k= ke 
此 时 要 求 这 些 集合 不 相交 。 如 果 A C 召 的 时 候 w[4] nLB] 成 立 , 那么 测度 为 单调 的 。 这 
个 证 明 比 较 容易 ,按照 参考 文献 中 测度 理论 的 通用 写法 , BA A B-A,B=(B-A)UA4B= 


(B-A) U A。 由 于 A 和 B-A4 是 不 相交 的 , 因此 可 以 得 到 J[LB] =ALB-4] +AL4]>=AL4]。 
同样 地 , 由 于 AUB=(A4-B)U(B-A4) UA4B, 可 以 得 到 pj[A UB] =wL4 -万 ] + 
ML[B -A]+h[4B]。 这 个 结论 可 以 推广 到 er 域 中 的 多 个 集合 (er 域 中 的 多 个 集合 称 为 o 集 
合 ) ,可 以 得 到 


"|U | = > HL 一 > HL44i+ + (1)" tp[A1A... A 
JU =4 


i1<] 





D Patrick Billingsley, Probability and Measure. New York: John Wiley & Sons, 1978. 
@ 集合 卫 数 是 一 个 实 值 函数 , 定义 在 空间 2 的 子 集 域 S 上 。 
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当然 了 , 只 有 这 些 集合 测度 值 有 限时 上 面 的 等 式 才 成 立 。 同 样 易 知 , A[ : ] 具有 次 可 加 性 的 
性 质 


HL 





加 Ax:| 到 >》 AI4h] 
k=1 天 一 1 


例 D.1-1(Borel) 勒 贝 格 (Lebesgue) 测 度 。 设 时 为 区 间 (2 = (0, 1) 上 的 og 域 ,3 中 的 
元 素 被 称 为 线性 博 雷 尔 集 , 该 区 间 上 的 er 域 被 称 为 博 雷 尔 域 。 对 于 实数 直线 上 的 er 域 我 们 都 
采用 这 种 记号 。 关 于 全 的 测度 凡 [*] 定义 为 = A(a,b) 全 D -Qw, 其 中 心 三 we 这 种 测度 称 为 区 
间 (a, b] 上 的 勒 贝 格 测度 。 这 个 定义 可 直接 用 于 实数 直线 R 。k 维 欧 氏 空 间 中 的 勒 贝 格 测 
度 为 





k 
b= AklT :a < wi < bi,t = 1,... ,A 全 [[w， 一 Qi) 


j=1 
因此 , 勒 贝 格 测度 长 度 可 以 是 长 度 (k=1)，, 面积 (k=2)，, 体积 (k=3) 以 及 超 体 积 (k >3)。 我 
们 用 .于 来 表示 这 些 广义 矩形 对 应 的 oq 域 。 

关于 测度 有 许多 重要 的 定理 , 我 们 列举 部 分 在 此 。 

定理 D.1-1 (平移 不 变性 ) 令 4E .有 球 ,4+Z2aja+z:ae4l。 那 么 对 于 的 所 有 平移 
都 有 Ar(A+X) = A.(A), 

定理 D.1-2 (平移 的 勒 贝 格 测度 ) 令 Ti:R* 一 >R* 表示 欧 氏 空间 中 从 恨 到 RR* 的 平移, 该 平 
移 为 线性 且 非 奇异 。 那 么 当 A e .有 味 时 有 7T4 Ee . 矿 和 Ai(TA) =1 detT| A.(A) 成 立 。 例 如 ， 
如 果 了 全 表示 一 个 旋转 或 者 反射 ， 即 正 交 变 换 或 归 一 化 , 那么 有 1 detT1 = 1 和 A,(7TA) = Ax(4) 

定理 D.1-3 (Rr" 子 空间 的 勒 贝 格 测度 ) 每 个 kl 维 超 平面 的 k 维 勒 贝 格 测度 为 0。 

定理 D.1-4 (测度 的 连续 性 ) (i) 令 风 为 域 仿 的 测度 。 如 果 4, 和 4 位 于 六 之 内 且 4, 14， 
那么 uu[A,] TA[4]。 这 就 称 为 测度 的 自 下 连续 性 。 其 中 4 14 表 示 4 CA4 C4C…， 且 有 


Py 


n=1 
同样 地 , [A。] TAL4] 表示 4[A,] 和 [4 <plA], 且 limplA,] = plA]。 
(站 ) 令 4 为 域 沪 的 测度 。 如 果 A 和 A 位 于 之 内 且 A, 4A, 那么 [A,] 41n[A]。 这 就 称 
为 测度 的 自 上 连续 性 。 其 中 A, 1 和 A 表示 A 1 DA, 了 hs, 了 …, 且 有 


a 
n=1 
同样 地 ,NA[4,] lu[A] 表示 AL4,] 二 4[Ann] 二 pLA], 且 limp[lA,] = plA]。 


测度 的 映射 和 函数 


令 (02,S) 和 (2 ,人 ) 分 别 为 集合 4 e N 和 A'e N' 中 的 两 个 可 测 空间 。 对 于 映射 7:02 
一 02', 其 逆 像 为 TA' = jw e 0: Tw e A'| ,其 中 A' C0'。 如果 对 于 任意 A4'e S' 都 有 TA' 
< S$, 那么 这 个 映射 就 是 可 测 的 。 例 如 , 对 于 单位 区 间 Q = (0, 1) ,SS = .办 映射 为 Tx = x 。 
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此 时 0 = 2 和 六 = :多 很 显然 , 02' 中 每 个 博 雷 尔 区 间 的 逆 像 都 是 Q 中 的 博 雷 尔 区 间 。 因 此 ， 
了 是 一 个 可 测 映 射 。 

对 于 2 的 一 个 实 函 数 了 ,其 像 空间 为 R'。 对 于 每 个 Be 3, 如 果 承 的 首 像 XB = |w: 
X(w) e BI e ~ 都 成 立 , 那么 也 是 可 测 的 。 


D.2 测度 理论 中 关于 概率 的 应 用 


如 果 满 足以 下 条 件 , o 域 S$ 上 的 集合 函数 PP 是 一 个 概率 测度 : 
(i) 对 于 每 个 A e 3,0 < PI[A] < 1。 

(ii) PL$] =0,PLO] =1。 

(这 ) 如 果 4 ,4 ，…, 4, … 是 侠 集 合 中 不 相交 的 序列 , 那么 


U ArES 
上 三 上 
此 时 有 : 
P 局 | 3 > P[Ax] 
k=1 k=1 
(这 就 是 概率 测度 的 可 列 可 加 性 质 。) 
分 布 测度 


为 了 与 本 书 上 下 文保 持 一 致 , 在 此 用 取代 w 来 表示 0 中 的 元 素 。 在 本 书 中 , 一 般 把 w 
用 于 全 里 叶 变 换 的 变量 。 令 B < .多 , 博 雷 尔 o 域 是 实数 直线 上 的 区 间 。 定 义 ( 玉 ，. 殉 上 的 
(概率 ) 测 度 / 为 w[B] AP[C:X(E) e B] = Px[B]。 这 个 测度 称 为 随机 变量 的 分 布 或 规律 。X 
的 分 布 函 数 定义 如 下 : 

Fx(z)S py(-—o00,7] = PIX < 4 

其 中 PI[X < xz] 是 PIZ:X(Z) < z] 的 简写 。 根 据 测度 理论 中 的 自 上 连续 性 , 方程 P(x) 是 右 
连续 的 。 

因为 事件 的 域 是 一 个 e 域 , 分布 方程 是 由 测度 给 出 的 , 所 以 测度 的 所 有 性 质 在 概率 论 
中 也 是 成 立 的 。 因 此 , 概率 论 和 测度 理论 是 紧密 相关 的 。 另 外 , 通过 测度 理论 的 观点 来 认 
识 概率 论 , 就 要 忽略 那些 丰富 的 微 积分 理论 , 这 些 理论 可 以 用 来 求解 工程 上 的 , 科学 上 的 和 
统计 学 上 的 问题 。 


附录 E ”对 模拟 波形 的 采样 和 离散 时 间 信 号 


离散 时 间 信号 通常 是 对 连续 时 间 的 模拟 波形 采样 得 到 的 。 在 这 里 我 们 简要 复习 一 下 这 两 
种 信号 的 关系 。 利 用 均匀 采样 的 信号 来 重建 连续 时 间 信号 , 这 个 重建 的 过 程 要 遵循 著名 的 奈 
奎 斯 特 (Whittaker-Nyquist-Shannon ) 采样 定理 。 

定理 E.1-1 一 个 最 高 实 频率 不 超过 vw 的 连续 时 间 信 号 X(t), 如 果 采 样 间隔 满足 
T < 区 一 ,那么 就 可 以 通过 样本 x(nT) 来 精确 重建 信号 (1) 。 


很 多 地 方 都 给 出 了 这 个 重要 定理 的 证 明 , 例如 1965 年 John Wiley & Sons 出 版 社 出 版 

的 , John M. Wozencraft 和 Irwin M. Jacobs 所 著 的 Principles of Communication Engi- 

neering。 令 x(t), y(t) 和 h(t) 分 别 表 示 一 个 线性 时 不 变 系统 的 输入 信号 , 输出 信号 和 冲 

激 响应 。 设 带宽 B( 单 位 : Hz) 大 于 系统 中 任意 信号 的 带宽 以 及 系统 带宽 , 令 A A 1/(2B)。 
为 书写 简洁 , 给 出 定义 如 下 : 

sinc (Z) A 


一 个 线性 时 不 变 系统 ,其 输入 与 输出 之 间 的 关系 如 下 : 


y(t) = | : h(s)z(t — s)ds 


TI 


根据 采样 定理 可 得 


y(t) = >》 y(IA) sinc (2B[t — LA]) 
1 


证 > z(IA) sinc (2BIt — LIA]) 
l 


h(t) = 》 h(LA) sinc (2B[t — LA]) 
l 


将 上 面 三 个 表达 式 代入 输入 输出 积分 表达 式 , 并 用 不 同 的 下 标 来 进行 区 分 , 可 以 得 到 t = 
LA 时 y(t) 的 值 
yA) = 》 》 h(nA)z(mA) TL, m,n) 


n 772 


其 中 有 
IT(l,m,n) 全 | sinc (2B[s ~— nA]) sinc (2B[s—(!—m)Al)ds=0 


当 71, m 和 n 都 为 实 整数 旦 1 -mm 关 rn 时 , 上 式 对 于 任意 给 定 的 A 值 都 成 立 。 因 此 我 们 可 以 得 
到 如 下 重要 的 结论 : 
ylA)= > h(nA)z(ll 3 A)A 


一 般 都 会 把 因子 A 合并 到 h(nA) 里 。 在 计算 机 中 ,函数 的 样本 值 就 是 一 组 序列 ， 比 如 
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y(LA) A yl] ,YX(LA) A YU ,h(nA) A hin]。 至 此 , 可 以 得 到 
ylnl] = >》 /mx 一 可 


上 式 就 是 一 个 离散 卷 积 表达 式 。 需 要 记 住 的 是 : 对 于 离散 信号 的 处 理 都 是 通过 其 样本 实现 的 ， 
然后 再 通过 滤波 重建 一 个 模拟 信号 波形 。 

还 有 一 点 需要 注意 的 是 , 序列 |xL nj| 并 不 包含 采样 周期 的 信息 。 比 如 ,对 于 正弦 函数 
v(t) = Acos(w,t + 0)。 如果 采样 时 间 t = nA, n =…， -2,， -1,0,1,2,，…, 那 么 得 到 的 样 
本 为 X(nA) = Acos(nAw, +0) = Acos(nw +0) A XIn], 其 中 ww 全 Aw。 “频率 "wow 是 一 个 
没有 量 纲 的 单位 , 这 类 似 于 “时 间 "% 也 是 没有 量 纲 的 。 如 果 要 转换 为 模拟 频率 w,( 弧度 / 秒 ) 
或 v, (Hz)，, 需要 用 到 公式 w, = wA 或 ww = VA。 例 如, 对 序列 |x[n]| 进行 傅 里 叶 变 换 可 以 得 
到 正弦 曲线 的 频谱 ,其 归 一 化 频率 w 位 于 区 间 [ - 7, 7] 之 内 。 如 果 转 换 到 模拟 的 弧度 频率 
上 , 那么 这 个 频谱 曲线 就 位 于 区 间 [ - 2mB, 27B] 之 内 。 


附录 FF 正 态 随 机 变量 样本 均值 和 方差 的 独立 性 " 


在 我 们 所 接触 到 的 所 有 概率 论 和 统计 分 布 中 , 正 态 (高 斯 ) 分 布 无 疑 是 最 重要 的 额度 。 这 
有 许多 原因 , 但 中 心 极限 定理 (Central Limit Theorem, CLT ) 是 最 主要 的 。CLT 是 指 在 合理 和 
现实 的 条 件 下 , 独立 同 分 布 随机 变量 之 和 趋向 于 正 态 分 布 。 根 据 这 个 性 质 ， 当 样本 数量 很 大 
时 , 就 可 以 运用 中 心 极限 定理 来 解决 很 多 统计 方面 的 问题 。 读 过 第 6 章 和 第 7 章 的 读者 应 该 
已 经 注意 到 我 们 用 中 心 极限 定理 来 解 题 ， 和 否则 那些 题目 很 难 被 解 出 。 

还 有 其 他 许多 原因 来 解释 为 什么 正 态 分 布 在 概率 论 和 统计 中 扮演 着 如 此 重要 的 角色 。 对 
于 一 维 正 态 概率 密度 函数 , 它 的 两 个 参数 是 代数 无 关 的 , 即 它们 二 者 可 以 在 各 自 的 区 间 上 任意 取 
值 而 不 会 互相 影响 。 均 值 凡 可 以 在 区 间 ( - ww ,， ) 上 任意 取 值 , 方差 可 以 在 区 间 (0, % ) 任 
意 取 值 。 这 就 使 得 我 们 可 以 设计 一 个 特定 均值 和 方差 的 正 态 随 机 数 发 生 器 。 对 于 多 维 正 态 分 
布 也 是 类 似 的 。 根 据 给 定 的 数学 期 望 矩阵 A 和 方差 阵 有 K, 我 们 可 以 设计 相应 的 正 态 随机 数 发 
生 器 。 正 态 分 布 的 概率 密度 函数 也 具备 完备 性 , 该 性 质 在 寻找 一 组 最 优 估计 响 的 时 候 非 常 重 
要 ， 即 最 小 方差 无 偏 估计 咽 。 

对 于 一 个 给 定 的 正 态 分 布 , 如 何 估 计 j 和 or 这 两 个 参数 是 中 心 问题 。 对 于 X:N(n, oo ), 假 
设 有 nn 个 独立 同 分 布 (i.i. d. ) 的 观测 。 a (1/n) 至 人 用 


(Vn-D)( EX- (nn) BD,, ) 或 (1n)( 允 "(ZX - (1n) 台 ”加 ) ) (样本 


方差 ) 来 估计 方差 0。 扣 到 飞 二 的 入 和 和 直方 归 祖 菜 用 同 补 风 数据 很 显然 ， eee 
本 方差 都 是 统计 独立 的 2。 为 了 证 明 这 个 结论 , 我 们 将 运用 概率 论 中 的 一 个 定理 : 对 于 一 个 具 
有 两 个 随机 变量 V 和 W 的 联合 矩 量 生成 函数 Myw(, 三) ,因子 分 别 为 Mrv( 志 ) 和 Mw( 刀 ), 那 
么 V 和 WW 是 独立 的 。 这 个 结论 是 从 例 4.7-1 中 特征 函数 推导 出 来 的 , 也 就 是 估计 矩 量 生成 函 
数 在 t = jw 时 的 值 。 

在 这 里 我 们 感 兴趣 的 两 个 随机 变量 是 估计 值 及 +: 和 5x。 为 行文 简洁 , 给 出 如 下 定义 : 


2 
1 Nn 机 
(i) 六 全 2 ,作对 不 大 "(3 > 汉 ) = nj 
Ox a ee 
(ii) W 全 和 (Yi fy) = (n— 1)62 


其 中 术 : 共 ,WXnio 关于 Mmw( 右 , 包 ) ,定义 如 下 : 
Mywlti,t2)=E [exp(t1V 十 toW)] 


|, 1 i | we BG (各 ja ean 


其 中 





@ 严格 的 证 明 请 参阅 参考 文献 [7-1] 
@@ 独立 或 独立 性 都 是 统计 意义 上 的 。 除 此 之 外 是 指 代数 或 方程 的 无 关 性 。 
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2 
Qs (1)) 


在 这 里 BR 是 方差 阵 , 它 的 对 角 元 素 是 7;, 非 对 角 元 素 为 7;, i 关 7 了 具体 为 
2(t1 — t2) 





rii = 1— 2t2 二 i 二 1,…,n， 民 的 对 角 元 素 (F-1a) 
rij = 一 和 一 轩 ij =1.…mi 尖 j， 及 的 非 对 角 元 素 (F-1b) 
对 于 多 维 正 态 概 率 密度 函数 ,其 表达 式 如 下 : 


fr(y) = i [en 3y "Ry) 





其 中 有 fy(y)qy = 1。 在 此 归纳 如 下 : 
Mvwlti,t2) = E (exp(tiV + t2W)) 


kk | 5 轴 (2T) 一 /2 | (-30) x dy1dy2… dyn 


= | 尽 |- 
根据 矩阵 理论 可 知 , 对 于 ?% x? 维 的 矩阵 玉 , 如 果 它 的 对 角 线 元 素 为 a, 非 对 角 线 元 素 为 b, 那么 
该 矩阵 的 行列 式 值 | 玉 | 为 (a -50)”(a+(n 一 1)5)。 代 入 定义 a A 7i,b Si[ 根 据 式 (Fr1)]， 
可 以 得 到 
Mvw (ti,t2) = (1 一 24)-I2(1 一 2t)-[n-D/3 ,ti < 1/2,t < 1/2 
= Mv(t1) x Mw (t2) 

根据 前 面 引用 的 定理 可 知 V 和 WW 是 独立 的 。 进 一 步 有 Fw(v, w) = Fy(v)Fy(w)，, 因此 记 
和 人 62 是 相互 独立 的 。 同 时 , 如 果 访 和 oo 是 相互 独立 的 , 那么 fx 和 xy 也 是 相互 独立 的 。 这 
个 重要 的 结论 使 得 我 们 可 以 分 别 给 说 和 ex 选择 不 同 的 置信 区 间 , 而 不 必 担 心 二 者 互相 矛盾 。 
只 有 在 正 态 分 布 的 时 候 , fx 和 cx 才 是 相互 独立 的 。 


附录 G 累积 分 布 困 数 查询 表 : 正 态 分 布 ， 
t( 学生) 分 布 ，Chi 平方 分 布 和 五 分 布 


在 此 我 们 给 出 一 些 常见 概率 分 布 函 数 的 查询 表 , 包括 : (1) 正 态 分 布 ; (2) 学 生 上 分布 
(分 布 );(3) Chi 平方 分 布 ; (4) 书 分布。 书 分 布 有 的 时 候 称 为 Snedecor 亚 分 布 。 

伽 马 函数 T(a) = | ze dz, a > 0 在 下 面 概率 分 布 函数 的 定义 中 经 常 出 现 。 当 为 
整数 , 或 者 说 a = mm 三 1 时 ,TT(m) =[m-1]!=(m-1)x(m-2)x:…x2xl, 其 
中 01 = 1。 下 面 给 出 每 个 概率 分 布 函数 的 定义 ,如 下 所 述 。 

(1) 标 准 正 态 分 布 (在 概率 和 统计 中 经 常用 到 ) 


FsN(z) = a bh: exp (-)* 
标准 正 态 分 布 函数 是 均值 人 和 方差 e 的 双 参 量 函 数 。 


(2)t 分 布 ( 区 间 估 计 , 正 态 总 体 均值 的 假设 检验 , 检验 中 是 否 等 于 jo) 
mn 二 下 . 1 2 LT (m+ 1]/2) 
a | i Tn 
t 分布 函数 是 参量 m 的 函数 , 其 中 m 被 称 为 自由 度 ( degree of freedom,，DOF)。t 分 布 是 下 
分 布 的 一 种 特例 。 
(3) Chi 平方 分 布 ( 正 态 总 体 方差 的 置信 区 间 , 检验 o? 是 否 等 于 co ，Pearson 适合 度 ) 
Fz2(T;Mm)=K’ 上 y™/2-1 exp (-)dy 


x 


6 
2m/2T'(m/2) 


Chi 平方 分 布 函 数 的 参数 m 也 称 为 自由 度 。 
(4) Snedecor F 分 布 (广义 释然 比 , 检验 o1 与 cz 是 否 相等 ) 


| —(m+n)/2 
dy 


KK 


到 三 下 | y™/2-1x (1 十 
0 


r 770 十 也 
0 全 m\m/2 
Kk" = n ) 


(sr 
Snedecor 下 分 布 的 两 个 参量 m 和 称 为 下 分 布 的 自由 度 。 其 中 如 果 提 及 自由 度 , 默认 首先 是 
指 参 量 m。 


nn 
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根据 FsN(Z) 来 查询 。z 的 第 一 个 数字 给 出 表格 的 行 , 的 第 二 个 数字 给 出 了 该 行 中 的 位 置 


0. 





22ceceeco=c==j== = = 


© CO mo A a A 有 Vv SO mG a 2 VY 


一 


SS OO mG 5- 


ps 


上 中 己 


0.9997 


0. 


°c0ococococPoooPpPPeopooc 


01 
5040 





表 1 标准 正 态 分 布 的 累积 分 布 函数 查询 表 
0.02 0.03 0.04 0.05 0.06 

0.5080 0.5120 0.5160 0.5199 0.5239 
0.5478 0.5517 0.5557 0.5596 0.5636 
0.5871 0.5910 0.5948 0.5987 0.6026 
0.6255 0.6293 0.6331 0.6368 0.6406 
0.6628 0.6664 0.6700 0.6736 0.6772 
0.6985 0.7019 0.7054 0.7088 0.7123 
0.7324 0.7357 0.7389 0.7422 0.7454 
0.7642 0.7673 0.7704 0.7734 0.7764 
0.7939 0.7967 0.7995 0.8023 0.8051 
0.8212 0.8238 0.8264 0.8289 0.8315 
0.8461 0.8485 0.8508 0.8531 0.8554 
0.8686 0.8708 0.8729 0.8749 0.8770 
0.8888 0.8907 0.8925 0.8944 0.8962 
0.9066 0.9082 0.9099 0.9115 0.9131 
0.9222 0.9236 0.9251 0.9265 0.9279 
0.9357 0.9370 0.9382 0.9394 0.9406 
0.9474 0.9484 0.9495 0.9505 0.9515 
0.9573 0.9582 0.9591 0.9599 0.9608 
0.9656 0.9664 0.9671 0.9678 0.9686 
0.9726 0.9732 0.9738 0.9744 0.9750 
0.9783 0.9788 0.9793 0.9798 0.9803 
0.9830 0.9834 0.9838 0.9842 0.9846 
0.9868 0.9871 0.9875 0.9878 0.9881 
0.9898 0.9901 0.9904 0.9906 0.9909 
0.9922 0.9925 0.9927 0.9929 0.9931 
0.9941 0.9943 0.9945 0.9946 0.9948 
0.9956 0.9957 0.9959 0.9960 0.9961 
0.9967 0.9968 0.9969 0.9970 0.9971 
0.9976 0.9977 0.9977 0.9978 0.9979 
0.9982 0.9983 0.9984 0.9984 0.9985 
0.9987 0.9988 0.9988 0.9989 0.9989 
0.9991 0.9991 0.9992 0.9992 0.9992 
0.9994 0.9994 0.9994 0.9994 0.9994 
0.9995 0.9996 0.9996 0.9996 0.9996 
0.9997 0.9997 0.9997 0.9997 0.9997 











0.07 0.08 0.09 

0.5279 0.5319 0.5359 
0.5675 0.5714 0.5753 
0.6064 0.6103 0.6141 
0.6443 0.6480 0.6517 
0.6808 0.6844 0.6879 
0.7157 0.7190 0.7224 
0.7486 0.7517 0.7549 
0.7794 0.7823 0.7852 
0.8078 0.8106 0.8133 
0.8340 0.8365 0.8389 
0.8577 0.8599 0.8621 
0.8790 0.8810 0.8830 
0.8980 0.8997 0.9015 
0.9147 0.9162 0.9177 
0.9292 0.9306 0.9319 
0.9418 0.9429 0.9441 
0.9525 0.9535 0.9545 
0.9616 0.9625 0.9633 
0.9693 0.9699 0.9706 
0.9756 0.9761 0.9767 
0.9808 0.9812 0.9817 
0.9850 0.9854 0.9857 
0.9884 0.9887 0.9890 
0.9911 0.9913 0.9916 
0.9932 0.9934 0.9936 
0.9949 0.9951 0.9952 
0.9962 0.9963 0.9964 
0.9972 0.9973 0.9974 
0.9979 0.9980 0.9981 
0.9985 0.9986 0.9986 
0.9989 0.9990 0.9990 
0.9992 0.9993 0.9993 
0.9995 0.9995 0.9995 
0.9996 0.9996 0.9997 
0.9997 0.9997 0.9998 





附录 G ”累积 分 布 函 数 查询 表 : 正 


布 , t( 学生 ) 分 布 ,Chi 平方 分 布 ,分布 





表 2 1 分 布 的 累积 分 布 函数 查询 表 
Fr(z; n) 的 数值 由 表格 项 部 确定 。 首 先 根据 no 确定 表格 的 行 数 , 然后 再 查询 相应 的 x 
0.60 0.75 0.90 0.95 0.975 0.99 0.995 0.9995 

1 0.325 1.000 3.078 6.314 12.706 31. 821 63.657 636.619 
2 0.289 0.816 1.886 2.920 4.303 6.965 9.925 31.598 
3 0.277 0.765 1.638 2.353 3.182 4.541 5. 841 12.924 
4 0.271 0.741 1.533 2.132 2.776 3.747 4.604 8.610 
5 0.267 0.727 1.476 2.015 2.571 3.365 4.032 6. 869 
6 0.265 0.718 1. 440 1.943 2. 447 3.143 3.707 5.959 
7 0.263 0.711 1.415 1.895 2.365 2.998 3.499 5.408 
8 0.262 0.706 1.397 1.860 2.306 2.896 3.355 5.041 
9 0.261 0.703 1.383 1.833 2.262 2.821 3.250 4.781 
10 0.260 0.700 1.372 1.812 2.228 2.764 3.169 4.587 
11 0.260 0.697 1.363 1.796 2.201 2.718 3. 106 4.437 
12 0.259 0.695 1.356 1.782 2.179 2.681 3.055 4.318 
13 0.259 0.694 1.350 1:771 2.160 2.650 3.012 4.221 
14 0.258 0.692 1.345 1.761 2.145 2.624 2.977 4.140 
15 0.258 0.691 1.341 1.753 2. 131 2. 602 2.947 4.073 
16 0.258 0. 690 1.337 1.746 2. 120 2.583 2.921 4.015 
17 0.257 0.689 1.333 1.740 2.110 2.567 2. 898 3.965 
18 0.257 0.688 1.330 1.734 2. 101 2.552 2.878 3.922 
19 0.257 0.688 1.328 1.729 2.093 2.539 2.861 3.883 
20 0.257 0.687 1.325 1.725 2.086 2.528 2.845 3.850 
21 0.257 0.686 1.323 1.721 2.080 2.518 2.831 3.819 
22 0.256 0.686 1.321 1.717 2.074 2.508 2.819 3.792 
23 0.256 0.685 1.319 1.714 2.069 2.500 2.807 3.767 
24 0.256 0.685 1.318 1.711 2.064 2.492 2. 797 3.745 
25 0.256 0.684 1.316 1.708 2.060 2.485 2.787 3.725 
26 0.256 0.684 1.315 1.706 2.056 2.479 2.779 3.707 
27 0.256 0.684 1.314 1.703 2.052 2.473 2.771 3.690 
28 0.256 0.683 1.313 1.701 2.048 2.467 2.763 3.674 
29 0.256 0.683 1.311 1.699 2.045 2.462 2.756 3.659 
30 0.256 0.683 1.310 1.697 2.042 2.457 2.750 3.646 
40 0.255 0.681 1.303 1.684 2.021 2.423 2.704 3.551 
60 0.254 0.679 1.296 1.671 2.000 2.390 2.660 3.460 
120 0.254 0.677 1.289 1.658 1.980 2.358 2.617 3.373 
o 0.253 0.674 1.282 1.645 1.960 2.326 2.576 3.291 


表 中 数据 引 自 W. H. Beyer, Ed.， 


The Chemical Rubber Co. ，Cleveland, 1968; p. 283. 已 获得 CRC 出 版 社 的 许可 引用 。 


in CRC Handbook of Tables for Probability and Statistics, 2d ed. ， 
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表 3 Chi 平方 分 布 的 累积 分 布 函数 查询 表 
Raz(z; 7) 的 数值 由 表格 顶部 确定 。 首 先 根据 n 确定 表格 的 行 数 , 然后 再 查询 相应 的 x 
nF 0.005 0.010 0.025 0.050 0.100 0.250 0.500 0.750 0.900 0.950 0.975 0.990 0.995 











1 0. 04393 0. 03157 0.03982 0.02393 0.0158 0.102 0.455 1.32 2.71 3.84 5.02 6.63 7.88 
2 0.0100 0.0201 0.0506 0.103 0.211 0.575 1.39 2.77 4.61 5.99 7.38 9.21 10.6 
3 0.0717 0.115 0.216 0.352 0.584 1.21 2.37 4.11 6.25 7.81 9.35 11.3 12.8 
4 0.207 0.297 0.484 0.711 1.06 1.92 3.36 5.39 7.78 9.49 11.1 13.3 14.9 


5 0.412 0.554 0.831 1.15 1.61 2.67 4.35 6.63 9.24 11.1 12. 


Op 


15.1 16.7 
6 0.676 0.872 1.24 1.64 .20 3.45 5.35 7.84 10.6 12.6 14.4 16.8 18.5 


2 
7 0.989 1.24 1.69 2.17 2.83 4. 


6.35 9.04 12.0 14.1 16.0 18.5 20.3 
8 1.34 1.65 2.18 2.73 3.49 5.07 7.34 10.2 13.4 15.5 17.5 20.1 22. 
9 1.73 2.09 2.70 3.33 4.17 5.90 8.34 11.4 14.7 16. 
10 2.16 2.56 3.25 3.94 4.87 6.74 9.34 12.5 16.0 18. 
11 2.60 3.05 3.82 4.57 5.58 人 10.3 13.7 17.3 19.7 21.9 24.7 26.8 


58 
12 3.07 3.57 4.40 5.23 6.30 8.4 11.3 14.8 18.5 21.0 23.3 26.2 28.3 
30 


13 3.57 4.11 5.01 5.89 7.04 9. 12.3 16.0 19.8 22.4 24.7 27,7 29.8 
14 4.07 4.66 5.63 6.57 7.79 10.2 13.3 17.1 21.1 23.7 26.1 29.1 31.3 
15 4.60 5.23 6.26 7.26 8.55 11.0 14.3 18.2 22.3 25.0 27.5 30.6 32.8 
16 5.14 5.81 6.91 7.96 9.31 11.9 15.3 19.4 23.5 26.3 28.8 32.0 34.3 
17 5.70 6.41 7.56 8.67 10.1 12.8 16.3 20.5 24.8 27.6 30.2 33.4 35.7 


.23 9.39 10.9 13.7 17.3 21.6 26.0 28.9 31.5 34.8 37.2 


8 
19 6.84 7.63 8.91 10.1 11.7 14.6 18.3 22. 
9 


7 27.2 30.1 32.9 36.2 38.6 
20 7.43 8.26 .59 10.9 12.4 15.5 19.3 23.8 28.4 31.4 34.2 37.6 40.0 
21 8.03 8.90 10.3 11.6 13.2 16.3 20.3 24.9 29.6 32.7 35.5 38.9 41 
3 


14.0 17.2 21.3 26.0 30.8 33.9 36.8 40. 


So 
i 
SY 
w 


22 8.64 9.54 11. 
23 9.26 10.2 yy 13.1 14.8 18.1 22.3 27.1 32.0 35.2 38.1 41.6 44.2 
24 9.89 10.9 12.4 13.8 15.7 19. 23.3 28.2 33.2 36.4 39.4 43.0 45.6 


17.3 20. 


oo 
es 
bi 
心 


0 
25 10.5 11.5 13.1 14.6 16.5 19.9 24.3 29.3 34.4 37.7 40. 
26 11.2 12.2 13. 8 


6 
25.3 30.4 35.6 38.9 41.9 45.6 48. 
27 11.8 12.9 14.6 16.2 18.1 21. 26.3 31.5 36.7 40.1 43.2 
28 12.5 13.6 15.3 16.9 18.9 22.7 27.3 32.6 37.9 41.3 44.5 48.3 51. 
29 13.1 14.3 16.0 7.F 19.8 23.6 28.3 33.7 39.1 42.6 45.7 49.6 52. 


30 13.8 15.0 16.8 18.5 20.6 24.5 29.3 34.8 40.3 43.8 47.0 50.9 53.7 





该 表 引 自 文献 Tables of Percentage Points of the Incomplete Beta Function and of the Chi-square Distribution, " Bi- 
ometrika Vol. 32 (1941), 并 做 了 部 分 删 减 。 已 获得 了 作者 Catherine M Thompson 和 编辑 Biometrika 的 许可 引用 。 
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正 态 


累积 分 布 函 数 查询 表 


附录 C 
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-信息 中 心 Beijing Pearson Education 





北京 市 东城 区 北三 环 东 路 36 号 Information Centre 
北京 环球 贸易 中 心 D 座 1208 室 Suit 1208, Tower D, Beijing Global Trade Centre, 
P E 人 R S OO N 邮政 编码 :100013 36 North Third Ring Road East， 
a 电话 : (8610)57355171/57355169/57355176 Dongcheng District, Beijing, China 100013 
传真 : (8610) 58257961 TEL: (8610)57355171/57355169/57355176 


FAX: (8610)58257961 





尊 玖 的 老师 : 
您 好 ! 


为 了 确保 您 及 时 有 效 地 申请 教 辅 资源 ， 请 您 务必 完 整 填写 如 下 教 辅 申 请 表 ， 加 盖 学 院 公 
章 后 将 扫描 件 用 电子 邮件 的 形式 发 送 给 我 们 ， 我 们 将 会 在 2-3 个 工作 日 内 为 您 开通 属于 您 个 
人 的 唯一 账号 以 供 您 下 载 与 教材 配套 的 教师 资源 。 


请 填写 所 需 教 辅 的 开课 信息 : 


采用 教材 | 口中 文 版 口 英文 版 口 双 语 版 











作 者 出 版 社 


版 次 ISBN 


始 于 年 月 日 学 生 人 数 


课程 时 间 | 
让 二 >- 学 生年 级 口 专科 Co 1/2 年 级 
口 研究 生 ” 口 本 科 3/4 年 级 





























请 填写 您 的 个 人 信息 : 


学 校 

























































院 系 /专业 
姓 名 | 职 称 口 助教 口 讲师 口 副教授 口 教授 
通信 地 址 /邮编 
手 ”机 电 话 
一 一 一 一 一 一 一 一 一 | 
传 真 
official email( 必 填 ) email 
(eg:XXX@ruc.edu.cn) (eg:XXX@163.com) 
是 否 愿意 接受 我 们 定期 的 新 书 讯息 通知 : 口 是 口 否 
Publishing House of Electronics Industry : 
电子 工业 出 版 社 : www.phei.com.cn 系 / 院 主任 : (签字 ) 
www.hxedu.com.cn 
北京 市 万 寿 路 173 信箱 高 等 教育 分 社 (100036) ( 系 / 院 办 公 室 章 ) 
联系 电话 : 010-88254555 
E-mail: Te service@phei.com.cn 年 月 日 

















